L'estimateur des MCO
On appelle estimateurs des moindres carrés ordinaires (MCO) de β=(β1,…,βp)⊤ le vecteur ˆβ=(ˆβ1,…,ˆβp)⊤ minimisant le critère :
La solution obtenue
Sous la condition de non-colinéarité des variables (c'est-à-dire qu'il n'existe pas de relation linéaire entre une variable et les p−1 autres), l'estimateur des MCO de β existe.
Son écriture matricielle est :
La matrice X est constituée de l'ensemble des variables observées sur tous les individus. La matrice-colonne Y est donnée par l'ensemble des valeurs y observées sur l'ensemble des individus.
Valeurs ajustées et résidus
Les valeurs ajustées (ou valeurs estimées) sont obtenues à partir de la formule suivante :
Il s'agit toujours des valeurs que l'on aurait obtenues pour toutes les observations à partir du modèle de régression.
Les résidus mesurent toujours les écarts entre les valeurs observées (pour Y ) et les valeurs estimées :
Propriétés statistiques des paramètres
On peut montrer que ˆβ est un estimateur sans biais de β :
Cela signifie qu'en moyenne, l'estimateur des MCO nous conduira à la bonne solution.
Le résultat énoncé dans le cas de la régression linéaire simple reste valable. On peut d'autant plus être confiant dans la qualité de ces estimateurs qu'ils sont dits BLUE (Best Linear Unbiased Estimators) : parmi tous les estimateurs linéaires et sans biais de β , l'estimateur des MCO de ˆβ est de variance minimale.
La variance résiduelle
La variance résiduelle vaut :
C'est un estimateur sans biais de σ2 .
Pour aller plus loin : l'interprétation géométrique
ˆY est la projection orthogonale de Y sur le sous-espace vectoriel engendré par les colonnes de X .
La matrice de projection sur cet espace, communément notée H (pour hat) dans le cadre des modèles linéaires, vaut :
On peut vérifier que l'on a bien :
Vous avez découvert la méthode des Moindres Carrés Ordinaires pour une régression linéaire multiple. Voyons maintenant comment calculer le coefficient de détermination.
