• 12 heures
  • Difficile

Ce cours est visible gratuitement en ligne.

course.header.alt.is_video

course.header.alt.is_certifying

J'ai tout compris !

Mis à jour le 18/11/2022

Appliquez la méthode des Moindres Carrés Ordinaires

L'estimateur des Moindres Carrés Ordinaires

β1 et β2 sont des paramètres inconnus non observables, que l'on cherche à estimer. Il existe plusieurs méthodes pour cela, mais la plus utilisée est celle des MCO.

On appelle estimateur des moindres carrés ordinaires (MCO) de β1 et β2 les valeurs ˆβ1 et ˆβ2 minimisant la somme des carrés des résidus :

S(β1,β2)=ni=1(yiβ1β2xi)2 

Si, comme la somme des valeurs absolues, la somme des carrés est toujours positive (et nulle si le modèle est parfait), elle présente en sus l'intérêt d'être dérivable, ce qui est plus simple pour déterminer le minimum.

En notant ˆyi=ˆβ1+ˆβ2xi , on peut tracer la droite de régression suivante :

Figure 2.1 : Droite de régression
Droite de régression

Notons que la distance minimisée avec les MCO est ei=yiˆyi (en vert), pas la distance du point à la droite de régression (en rouge) :

Figure 2.2 : Distance des moindres carrés
Distance des moindres carrés

La solution obtenue

Dans le cas où au moins un des xi diffère des autres (ce qui est toujours le cas en pratique), les estimateurs des MCO de (β1,β2) valent :

ˆβ2=sXYs2X
ˆβ1=ˉyˆβ2ˉx

Remarquons que le coefficient directeur de la droite ˆβ2 est proportionnel à la covariance empirique entre X et Y , qui est, rappelons-le, une mesure de la dépendance linéaire entre les variables.

La droite de régression

L'équation de la droite de régression est :

y=ˆβ1+ˆβ2x

On peut montrer que cette droite passe par le barycentre du nuage de points (¯x,¯y)

Valeurs ajustées et résidus

Pour l'observation i , on appelle valeur ajustée (ou valeur estimée) la quantité :

ˆyi=ˆβ1+ˆβ2xi

On appelle résidu la différence entre la valeur observée pour la variable à expliquer et son estimation. Il représente la partie inexpliquée par le modèle. Le résidu, pour l'individu i , est donc : 

ei=yiˆyi

Les résidus, dépendant des paramètres estimés, sont calculables, à la différence du bruit qui dépend des paramètres inconnus :

εi=yiβ1β2xi

Le résidu ei est une estimation du bruit εi . Il représente la partie non expliquée par le modèle pour l'individu i .

On peut montrer que la somme des résidus est nulle :

ni=1ei=0

Pour aller plus loin : les propriétés statistiques des paramètres

On peut montrer que ˆβ1 et ˆβ2 sont des estimateurs sans biais de β1 et β2 :

j{1,2}:E(ˆβj)=βj

Cela signifie qu'en moyenne, l'estimateur des MCO nous conduira à la bonne solution.

Une petite remarque ici, les deux estimateurs ˆβ1 et ˆβ2 ne sont pas indépendants, ils sont même linéairement dépendants (covariance non nulle) :

Cov(ˆβ1,ˆβ2)=σ2ˉxni=1(xiˉx)2

On peut d'autant plus être confiant dans la qualité de ces estimateurs qu'ils sont dit BLUE (Best Linear Unbiased Estimators) : parmi tous les estimateurs linéaires et sans biais de β1 et β2 , les estimateurs des MCO de ˆβ1 et ˆβ2 sont de variance minimale.

La variance résiduelle

La variance résiduelle vaut : 

ˆσ2=1n2ni=1e2i

C'est un estimateur sans biais de σ2 .

Pour aller plus loin : l'interprétation géométrique

On peut réécrire :

Y=β11n+β2X+ε

1n=(11),  X=(x1xn)

On a :

S(β1,β2)=ni=1(yi(β1+β2xi))2=Y(β11n+β2X)22

2 désigne la norme euclidienne.

En notant ˆY=ˆβ11n+ˆβ2X , on a :

YˆY22=min(β1,β2)Y(β11n+β2X)22 .

 ˆY est la projection orthogonale de Y sur le sous-espace vectoriel engendré par les vecteurs 1n et X .

Les estimateurs ˆβ1 et ˆβ2 sont donc les coordonnées de la projection de Y dans cet espace.

Vous avez découvert la méthode des Moindres Carrés Ordinaires. Voyons maintenant comment calculer le coefficient de détermination.

Et si vous obteniez un diplôme OpenClassrooms ?
  • Formations jusqu’à 100 % financées
  • Date de début flexible
  • Projets professionnalisants
  • Mentorat individuel
Trouvez la formation et le financement faits pour vous
Exemple de certificat de réussite
Exemple de certificat de réussite