• 12 heures
  • Difficile

Ce cours est visible gratuitement en ligne.

course.header.alt.is_video

course.header.alt.is_certifying

J'ai tout compris !

Mis à jour le 18/11/2022

Appliquez la méthode des Moindres Carrés Ordinaires

L'estimateur des MCO

On appelle estimateurs des moindres carrés ordinaires (MCO) de  β=(β1,,βp) le vecteur ˆβ=(ˆβ1,,ˆβp) minimisant le critère : 

S(β1,,βp)=ni=1(yipj=1βjxij)2

La solution obtenue

Sous la condition de non-colinéarité des variables (c'est-à-dire qu'il n'existe pas de relation linéaire entre une variable et les p1 autres), l'estimateur des MCO de β existe.

Son écriture matricielle est :

ˆβ=(XX)1XY

La matrice X est constituée de l'ensemble des variables observées sur tous les individus. La matrice-colonne Y est donnée par l'ensemble des valeurs y observées sur l'ensemble des individus.

Valeurs ajustées et résidus

Les valeurs ajustées (ou valeurs estimées) sont obtenues à partir de la formule suivante :

ˆY=Xˆβ

Il s'agit toujours des valeurs que l'on aurait obtenues pour toutes les observations à partir du modèle de régression.

Les résidus mesurent toujours les écarts entre les valeurs observées (pour Y ) et les valeurs estimées : 

e=YˆY

Propriétés statistiques des paramètres

On peut montrer que ˆβ est un estimateur sans biais de β

E(ˆβ)=β

Cela signifie qu'en moyenne, l'estimateur des MCO nous conduira à la bonne solution.

Le résultat énoncé dans le cas de la régression linéaire simple reste valable. On peut d'autant plus être confiant dans la qualité de ces estimateurs qu'ils sont dits BLUE (Best Linear Unbiased Estimators) : parmi tous les estimateurs linéaires et sans biais de β , l'estimateur des MCO de ˆβ est de variance minimale.

La variance résiduelle

La variance résiduelle vaut :

ˆσ2=1npni=1e2i

C'est un estimateur sans biais de σ2 .

Pour aller plus loin : l'interprétation géométrique

 ˆY est la projection orthogonale de Y sur le sous-espace vectoriel engendré par les colonnes de X .

La matrice de projection sur cet espace, communément notée H (pour hat) dans le cadre des modèles linéaires, vaut : 

H=X(XX)1X

On peut vérifier que l'on a bien :

ˆY=Xˆβ=X(XX)1XY=HY

Vous avez découvert la méthode des Moindres Carrés Ordinaires pour une régression linéaire multiple. Voyons maintenant comment calculer le coefficient de détermination.

Et si vous obteniez un diplôme OpenClassrooms ?
  • Formations jusqu’à 100 % financées
  • Date de début flexible
  • Projets professionnalisants
  • Mentorat individuel
Trouvez la formation et le financement faits pour vous
Exemple de certificat de réussite
Exemple de certificat de réussite