• 12 heures
  • Difficile
Licence

Ce cours est visible gratuitement en ligne.

course.header.alt.is_video

course.header.alt.is_certifying

J'ai tout compris !

Mis à jour le 18/11/2022

Appliquez la méthode des Moindres Carrés Ordinaires

L'estimateur des MCO

On appelle estimateurs des moindres carrés ordinaires (MCO) de  $\(\boldsymbol{\beta} =\left( \beta_{1},\ldots,\beta_{p}\right)^\top\)$ le vecteur $\(\widehat{\boldsymbol{\beta} }=\left( \widehat{\beta}_{1},\ldots,\widehat{\beta}_{p}\right)^\top\)$ minimisant le critère : 

$\[S\left( \beta_{1},\ldots,\beta_{p} \right)=\sum_{i=1}^{n}\left( y_{i}-\sum_{j=1}^{p}\beta_{j}x_{ij}\right) ^{2}\]$

La solution obtenue

Sous la condition de non-colinéarité des variables (c'est-à-dire qu'il n'existe pas de relation linéaire entre une variable et les $\(p-1\)$ autres), l'estimateur des MCO de $\(\boldsymbol{\beta}\)$ existe.

Son écriture matricielle est :

$\[\widehat{\boldsymbol{\beta}}=\left(\mathbb{X} ^{\top}\mathbb{X}\right)^{-1}\mathbb{X}^{\top}\mathbf{Y}\]$

La matrice X est constituée de l'ensemble des variables observées sur tous les individus. La matrice-colonne Y est donnée par l'ensemble des valeurs $\(y\)$ observées sur l'ensemble des individus.

Valeurs ajustées et résidus

Les valeurs ajustées (ou valeurs estimées) sont obtenues à partir de la formule suivante :

$\[\widehat{\mathbf{Y}}=\mathbb{X}\, \widehat{\boldsymbol{\beta}}\]$

Il s'agit toujours des valeurs que l'on aurait obtenues pour toutes les observations à partir du modèle de régression.

Les résidus mesurent toujours les écarts entre les valeurs observées (pour $\(Y\)$ ) et les valeurs estimées : 

$\[\mathbf{e}=\mathbf{Y}-\widehat{\mathbf{Y}}\]$

Propriétés statistiques des paramètres

On peut montrer que $\(\widehat{\boldsymbol{\beta}}\)$ est un estimateur sans biais de $\(\boldsymbol{\beta}\)$ : 

$\[\mathbb{E}\left(\widehat{\boldsymbol{\beta}}\right)=\boldsymbol{\beta}\]$

Cela signifie qu'en moyenne, l'estimateur des MCO nous conduira à la bonne solution.

Le résultat énoncé dans le cas de la régression linéaire simple reste valable. On peut d'autant plus être confiant dans la qualité de ces estimateurs qu'ils sont dits BLUE (Best Linear Unbiased Estimators) : parmi tous les estimateurs linéaires et sans biais de $\(\boldsymbol{\beta}\)$ , l'estimateur des MCO de $\(\widehat{\boldsymbol{\beta}}\)$ est de variance minimale.

La variance résiduelle

La variance résiduelle vaut :

$\[\widehat{\sigma}^2=\frac{1}{n-p}\sum_{i=1}^n e_i^2\]$

C'est un estimateur sans biais de $\(\sigma^2\)$ .

Pour aller plus loin : l'interprétation géométrique

 $\(\widehat{\mathbf{Y}}\)$ est la projection orthogonale de $\(\mathbf{Y}\)$ sur le sous-espace vectoriel engendré par les colonnes de $\(\mathbb{X}\)$ .

La matrice de projection sur cet espace, communément notée $\(\mathbb{H}\)$ (pour hat) dans le cadre des modèles linéaires, vaut : 

$\[\mathbb{H}=\mathbb{X}\,\left(\mathbb{X} ^{\top}\mathbb{X}\,\right)^{-1}\mathbb{X}^{\top}\]$

On peut vérifier que l'on a bien :

$\[\widehat{\mathbf{Y}}=\mathbb{X}\,\widehat{\boldsymbol{\beta}}=\mathbb{X}\,\left(\mathbb{X}^{\top}\mathbb{X}\right)^{-1}\mathbb{X}^{\top}\mathbf{Y}=\mathbb{H}\, \mathbf{Y}\]$

Vous avez découvert la méthode des Moindres Carrés Ordinaires pour une régression linéaire multiple. Voyons maintenant comment calculer le coefficient de détermination.

Exemple de certificat de réussite
Exemple de certificat de réussite