Réalisez des modélisations de données performantes

Réalisez une ANOVA à un facteur

On se place dans le cas plus général où la variable qualitative a $\$\backslash (I\; \backslash )\$$ niveaux ( $\$\backslash (I=4\backslash )\$$ pour la variété de blé, dans le cas d'étude). On considère que l'on dispose de $\$\backslash (n\_i\backslash )\$$ observations pour la modalité $\$\backslash (i\; \backslash )\$$ de la variable.

On parle d'un plan d'expérience :

• complet si $\$\backslash (\backslash forall\; i\backslash in\backslash left\backslash \{\; 1,\; \backslash ldots,I\backslash right\backslash \}\; :n\_\{i\}\; >\; 0\backslash )\$$ ;

• équilibré si $\$\backslash (n\_\{1\}=\backslash ldots=n\_\{I\}=r\backslash )\$$ .

Dans le cas d'étude, le plan est équilibré (donc forcément complet).

Le modèle s'écrit :

$\$\backslash [y\_\{i,j\}=\backslash mu+\backslash alpha\_\{i\}+\backslash varepsilon\_\{i,j\}\backslash ]\$$

pour $\$\backslash (i\backslash in\backslash left\backslash \{\; 1,\backslash ldots,I\backslash right\backslash \}\backslash )\$$ et $\$\backslash (j\backslash in\backslash left\backslash \{\; 1,\backslash ldots,n\_\{i\}\backslash right\backslash \}\backslash )\$$ .

 $\$\backslash (\backslash mu,\backslash alpha\_\{1\},\backslash ldots,\backslash alpha\_I\backslash )\$$ sont des paramètres inconnus, et les $\$\backslash (\backslash varepsilon\_\{i,j\}\backslash )\$$ sont des v.a.r. indépendantes de loi $\$\backslash (\backslash mathcal\{N\}\backslash left(\; 0,\backslash sigma^\{2\}\backslash right)\backslash )\$$ , où $\$\backslash (\backslash sigma^\{2\}>0\backslash )\$$ est inconnue.

On considère par la suite les notations suivantes :

$\$\backslash [y\_\{i,\backslash cdot\}\; =\backslash frac\{1\}\{n\_\{i\}\}\backslash sum\_\{j=1\}^\{n\_\{i\}\}y\_\{i,j\}\backslash quad\backslash text\{(moyenne\; sur\; la\; modalité\; \$i\$)\}\backslash ]\$$

$\$\backslash [y\_\{\backslash cdot,\backslash cdot\}\; =\backslash frac\{1\}\{n\}\backslash sum\_\{i=1\}^\{I\}\backslash sum\_\{j=1\}^\{n\_\{i\}\}y\_\{i,j\}\backslash quad\backslash text\{(moyenne\; globale)\}\backslash ]\$$

Pour aller plus loin : l'estimation du modèle

Afin de résoudre le problème, il faut poser une contrainte supplémentaire (les variables explicatives sont strictement colinéaires), par exemple :

• $\$\backslash (\backslash mu=0\backslash )\$$

•  $\$\backslash (\backslash alpha\_\{1\}=0\backslash )\$$ (on peut choisir une autre cellule que la première)

• $\$\backslash (\backslash sum\_\{i=1\}^\{I\}n\_\{i\}\backslash alpha\_\{i\}=0\backslash )\$$

•  $\$\backslash (\backslash sum\_\{i=1\}^\{I\}\backslash alpha\_\{i\}=0\backslash )\$$

Les estimateurs de $\$\backslash (\backslash left(\; \backslash mu,\backslash alpha\_\{1\},\backslash ldots,\backslash alpha\_\{I\}\backslash right)\backslash )\$$ sont alors :

• $\$\backslash (\backslash widehat\{\backslash mu\}=0\backslash \; ;\; \backslash \; \backslash forall\; i\backslash in\backslash left\backslash \{\; 1,\backslash \; \backslash ldots,I\backslash right\backslash \}\; :\backslash widehat\{\backslash alpha\}\_\{i\}=y\_\{i,\backslash cdot\}\backslash )\$$

•  $\$\backslash (\backslash widehat\{\backslash mu\}=y\_\{1,\backslash cdot\}\backslash \; ;\backslash \; \backslash widehat\{\backslash alpha\}\_\{1\}=0\backslash \; ;\backslash \; \backslash forall\; i\backslash in\backslash left\backslash \{2,\backslash ldots,I\backslash right\backslash \}\; :\backslash widehat\{\backslash alpha\}\_\{i\}=y\_\{i,\backslash cdot\}-y\_\{1,\backslash cdot\}\backslash )\$$

•  $\$\backslash (\backslash widehat\{\backslash mu\}=y\_\{\backslash cdot,\backslash cdot\}\backslash \; ;\backslash \; \backslash forall\; i\backslash in\backslash left\backslash \{\; 1,\backslash ldots,I-1\backslash right\backslash \}\; :\backslash widehat\{\backslash alpha\}\_\{i\}=y\_\{i,\backslash cdot\}-y\_\{\backslash cdot,\backslash cdot\}\backslash \; ;\backslash \; \backslash widehat\{\backslash alpha\}\_\{I\}=\backslash sum\_\{i=1\}^\{I-1\}\backslash frac\{n\_\{i\}\backslash widehat\{\backslash alpha\}\_\{i\}\}\{n\_\{I\}\}\backslash )\$$

•  $\$\backslash (\backslash widehat\{\backslash mu\}=\backslash frac\{1\}\{I\}\backslash sum\_\{i=1\}^\{I\}y\_\{i,\backslash cdot\}\backslash \; ;\backslash \; \backslash forall\; i\backslash in\backslash left\backslash \{1,\backslash ldots,I-1\backslash right\backslash \}\; :\backslash widehat\{\backslash alpha\}\_\{i\}=y\_\{i,\backslash cdot\}-\backslash frac\{1\}\{I\}\backslash sum\_\{i=1\}^\{I\}y\_\{i,\backslash cdot\}\backslash \; ;\backslash \; \backslash widehat\{\backslash alpha\}\_\{I\}=\backslash sum\_\{i=1\}^\{I-1\}\backslash widehat\{\backslash alpha\}\_\{i\}\backslash )\$$ 

L'estimateur de $\$\backslash (\backslash sigma^\{2\}\backslash )\$$ est dans tous les cas :

$\$\backslash [\backslash widehat\{\backslash sigma\}^\{2\}=\backslash frac\{1\}\{n-I\}\backslash sum\_\{i=1\}^\{I\}\backslash sum\_\{j=1\}^\{n\_\{i\}\}\backslash left(y\_\{i,j\}-y\_\{i,\backslash cdot\}\backslash right)^\{2\}\backslash \; .\backslash ]\$$

Réalisez le test d'influence d'une variable qualitative

Ce n'est pas l'estimation de ces paramètres inconnus qui nous intéresse ici, mais bien notre capacité à tester une hypothèse $\$\backslash (H\_\{0\}\; \backslash )\$$ du type la variété de blé n'a pas d'effet, ce qui se traduit statistiquement par : $\$\backslash (H\_\{0\}:\backslash alpha\_\{1\}=\backslash ldots=\backslash alpha\_\{I\}=0\backslash \; .\backslash )\$$

On rejette d'autant plus facilement cette hypothèse que les moyennes sont différentes les unes des autres. La statistique de test utilisée à cet effet est :

$\$\backslash [F=\backslash frac\{\backslash operatorname\{CME\}\}\{\backslash operatorname\{CMR\}\}\backslash ]\$$

où :

• $\$\backslash (\backslash operatorname\{CME\}=\backslash frac\{\backslash operatorname\{SCE\}\}\{I-1\}\backslash )\$$

• $\$\backslash (\backslash operatorname\{SCE\}=\backslash sum\_\{i=1\}^\{I\}n\_\{i\}\backslash left(\; y\_\{i,\backslash cdot\}-y\_\{\backslash cdot,\backslash cdot\}\backslash right)\; ^\{2\}\backslash )\$$

• $\$\backslash (\backslash operatorname\{CMR\}=\backslash frac\{\backslash operatorname\{SCR\}\}\{n-I\}\backslash )\$$

• $\$\backslash (\backslash operatorname\{SCR\}=\backslash sum\_\{i=1\}^\{I\}\backslash sum\_\{j=1\}^\{n\_\{i\}\}\backslash left(\; y\_\{i,j\}-y\_\{i,\backslash cdot\}\backslash right)\; ^\{2\}\backslash )\$$

La terminologie employée ici est :

• Variation interclasse : en français SCE (Somme des Carrés Expliqués), en anglais SSM (Sum of Squares of the Model).

• Variation intraclasse : en français SCR (Somme des Carrés Résiduels), en anglais SSE (Sum of Squares of the Error).

• Variation totale : en français SCT (Somme des Carrés Totaux), en anglais SST (Total Sum of Squares).

• Degrés de liberté : en français ddl, en anglais df (degrees of freedom).

• Carrés moyens : en français CM, en anglais MS (Mean Squares).

On peut montrer également que la somme des carrés totaux, définie par :

$\$\backslash [\backslash operatorname\{SCT\}\; =\backslash sum\_\{i=1\}^\{I\}\backslash sum\_\{j=1\}^\{n\_\{i\}\}\backslash left(\; y\_\{i,j\}-y\_\{\backslash cdot,\backslash cdot\}\backslash right)\; ^\{2\}\backslash ]\$$

vérifie :

$\$\backslash [\backslash operatorname\{SCT\}\; =\backslash operatorname\{SCE\}+\backslash operatorname\{SCR\}\backslash ]\$$

On présente classiquement les résultats sous forme de tableau d'analyse de la variance :

On rejette $\$\backslash (H\_\{0\}\backslash )\$$ au niveau de test $\$\backslash (\backslash alpha\; \backslash )\$$ si $\$\backslash (f>f\_\{\backslash left(\; I-1,n-I\backslash right),1-\backslash alpha\}\backslash )\$$ où $\$\backslash (f\_\{\backslash left(\; I-1,n-I\backslash right),1-\backslash alpha\}\; \backslash )\$$ est le quantile d'ordre $\$\backslash (1-\backslash alpha\backslash )\$$ de la loi de Fisher à $\$\backslash (\backslash left(\; I-1,n-I\backslash right)\backslash )\$$ degré de liberté.

On peut également lire le résultat de ce test via la p-valeur. On rappelle que l'on rejette $\$\backslash (H\_\{0\}\backslash )\$$ au niveau de test $\$\backslash (\backslash alpha\backslash )\$$ si .

En pratique, rejeter $\$\backslash (H\_\{0\}\backslash )\$$ revient à déclarer que la variable qualitative a un effet significatif sur notre phénomène ( $\$\backslash (Y\backslash )\$$ ).

Voilà pour l'ANOVA à un facteur. Passons maintenant à l'ANOVA à... deux facteurs ! C'est parti.

Réalisez une ANOVA à deux facteurs

On souhaite désormais étudier l'influence de deux facteurs qualitatifs $\$\backslash (A\; \backslash )\$$ et $\$\backslash (B\backslash )\$$ , avec respectivement $\$\backslash (I\; \backslash )\$$ et $\$\backslash (J\backslash )\$$ modalités, sur une variable quantitative.

On suppose ici que l'on dispose d'un plan d'expériences équilibré (avec $\$\backslash (r\; \backslash )\$$ observations pour chaque croisement des facteurs).

Le modèle considéré est le suivant :

$\$\backslash [y\_\{i,j,k\}=\backslash mu+\backslash alpha\_\{i\}+\backslash beta\_\{j\}+\backslash gamma\_\{i,j\}+\backslash varepsilon\_\{i,j,k\}\; \backslash ]\$$

pour $\$\backslash (i\backslash in\backslash left\backslash \{\; 1,\backslash ldots,I\backslash right\backslash \}\backslash )\$$, $\$\backslash (j\backslash in\backslash left\backslash \{\; 1,\backslash ldots,J\backslash right\backslash \}\backslash )\$$ et $\$\backslash (k\backslash in\backslash left\backslash \{\; 1,\backslash ldots,r\backslash right\backslash \}\backslash )\$$

$\$\backslash (\backslash mu\backslash )\$$ , les $\$\backslash (\backslash alpha\_\{i\}\backslash )\$$ , les $\$\backslash (\backslash beta\_\{j\}\backslash )\$$ et les $\$\backslash (\backslash gamma\_\{i,j\}\backslash )\$$ sont des paramètres inconnus, et les $\$\backslash (\backslash varepsilon\_\{i,j,k\}\backslash )\$$ sont des v.a.r. indépendantes de loi $\$\backslash (\backslash mathcal\{N\}\backslash left(\; 0,\backslash sigma^\{2\}\backslash right)\backslash )\$$ , où $\$\backslash (\backslash sigma^\{2\}>0\backslash )\$$ est inconnu.

On considère les quantités suivantes (moyennes : globales, par modalité sur $\$\backslash (A\; \backslash )\$$ et sur $\$\backslash (B\backslash )\$$ ) :

$\$\backslash (y\_\{i,j,\backslash cdot\}\; =\backslash frac\{1\}\{r\}\backslash sum\_\{k=1\}^\{r\}y\_\{i,j,k\}\backslash \; \backslash \backslash y\_\{i,\backslash cdot,\backslash cdot\}\; =\backslash frac\{1\}\{Jr\}\backslash sum\_\{j=1\}^\{J\}\backslash sum\_\{k=1\}^\{r\}y\_\{i,j,k\}\backslash \; \backslash \backslash y\_\{\backslash cdot,j,\backslash cdot\}\; =\backslash frac\{1\}\{Ir\}\backslash sum\_\{i=1\}^\{I\}\backslash sum\_\{k=1\}^\{r\}y\_\{i,j,k\}\backslash \; \backslash \backslash y\_\{\backslash cdot,\backslash cdot,\backslash cdot\}\; =\backslash frac\{1\}\{IJr\}\backslash sum\_\{i=1\}^\{I\}\backslash sum\_\{j=1\}^\{J\}\backslash sum\_\{k=1\}^\{r\}y\_\{i,j,k\}\backslash \backslash )\$$

Les différents tests d'influence

Les tests effectués sont les suivants :

 $\$\backslash (H\_\{0\}^\{A\}\; :\backslash alpha\_\{i\}=0,\backslash forall\; i\backslash in\backslash left\backslash \{\; 1,\backslash ldots,I\backslash right\backslash \}\; \backslash )\$$

 $\$\backslash (H\_\{0\}^\{B\}\; :\backslash beta\_\{j\}=0,\backslash forall\; j\backslash in\backslash left\backslash \{\; 1,\backslash ldots,J\backslash right\backslash \}\; \backslash )\$$

 $\$\backslash (H\_\{0\}^\{AB\}\; :\backslash gamma\_\{ij\}=0,\backslash forall\; i\backslash in\backslash left\backslash \{\; 1,\backslash ldots,I\backslash right\backslash \}\; ,\backslash forall\; j\backslash in\backslash left\backslash \{\; 1,\backslash ldots,J\backslash right\backslash \}\backslash )\$$

Ils permettent respectivement de tester l'influence du facteur $\$\backslash (A\backslash )\$$ , du facteur $\$\backslash (B\; \backslash )\$$ et de l'interaction des facteurs $\$\backslash (A\; \backslash )\$$ et $\$\backslash (B\backslash )\$$ .

On considère les quantités suivantes :

$\$\backslash (\backslash operatorname\{SCE\}\_\{A\}\; =Jr\backslash sum\_\{i=1\}^\{I\}\backslash left(\; y\_\{i,\backslash cdot,\backslash cdot\}-y\_\{\backslash cdot,\backslash cdot,\backslash cdot\}\backslash right)\; ^\{2\}\backslash )\$$

 $\$\backslash (\backslash operatorname\{SCE\}\_\{B\}\; =Ir\backslash sum\_\{j=1\}^\{J\}\backslash left(\; y\_\{\backslash cdot,j,\backslash cdot\}-y\_\{\backslash cdot,\backslash cdot,\backslash cdot\}\backslash right)\; ^\{2\}\backslash )\$$

$\$\backslash (\backslash operatorname\{SCE\}\_\{AB\}\; =\backslash sum\_\{i=1\}^\{I\}\backslash sum\_\{j=1\}^\{J\}\backslash sum\_\{k=1\}^\{r\}\backslash left(\; y\_\{i,j,\backslash cdot\}-y\_\{i,\backslash cdot,\backslash cdot\}-y\_\{\backslash cdot,j,\backslash cdot\}+y\_\{\backslash cdot,\backslash cdot,\backslash cdot\}\backslash right)\; ^\{2\}\backslash )\$$

$\$\backslash (\backslash operatorname\{SCR\}\; =\backslash sum\_\{i=1\}^\{I\}\backslash sum\_\{j=1\}^\{J\}\backslash sum\_\{k=1\}^\{r\}\backslash left(\; y\_\{i,j,k\}-y\_\{i,j,\backslash cdot\}\backslash right)\; ^\{2\}\backslash )\$$

$\$\backslash (\backslash operatorname\{SCT\}\; =\backslash sum\_\{i=1\}^\{I\}\backslash sum\_\{j=1\}^\{J\}\backslash sum\_\{k=1\}^\{r\}\backslash left(\; y\_\{i,j,k\}-y\_\{\backslash cdot,\backslash cdot,\backslash cdot\}\backslash right)\; ^\{2\}\backslash )\$$

On présente classiquement les résultats sous forme de tableau :

On teste tout d'abord l'impact de l'interaction des 2 variables qualitatives sur $\$\backslash (Y\backslash )\$$ .

Voilà comment l'analyse de la variance se déroule en principe. Maintenant, ouvrez votre logiciel de code préféré, nous allons réaliser une analyse de la variance pour comprendre ce qui influence les rendements de blé.