Initiez-vous à la statistique inférentielle

Qualités d'un estimateur

On étudie usuellement les propriétés théoriques d’un estimateur pour s’assurer de sa pertinence, au-delà de l’intuition. En pratique on utilisera des estimateurs dont la qualité théorique a été éprouvée dans la littérature, il ne vous sera donc pas utile de redémontrer ces propriétés car d'autres se sont déjà penchés sur la question. ;)

1.  On souhaite qu’un estimateur soit exhaustif, c’est-à-dire qu’il puisse capter toute la connaissance sur le paramètre contenue dans les observations : l’échantillon.

2. On souhaite qu’un est estimateur soit consistant (convergeant) : l’estimateur calculé sur un échantillon sera d’autant plus fin (proche de la vérité) que la taille de l’échantillon sera importante. Si on pouvait faire croître indéfiniment la taille de l’échantillon, on se rapprocherait asymptotiquement de la vraie valeur du paramètre.

3. On souhaiterait dans l’absolu qu’un estimateur soit sans biais (du moins pour des
   grands échantillons) et de variance faible. Pour illustrer ces effets biais et variance, considérons une population régie par un paramètre $\$\backslash (\backslash theta\backslash )\$$ (la moyenne par exemple). Imaginons que l’on puisse tirer $\$\backslash (k\backslash )\$$ échantillons indépendants de cette population, et que l’on dispose ainsi de $\$\backslash (k\backslash )\$$ valeurs de l’estimateur : $\$\backslash (\backslash widehat\{\backslash theta\}^\{(1)\},\backslash ldots,\backslash widehat\{\backslash theta\}^\{(k)\}\backslash )\$$ .Ces illustrations montrent des estimateurs à biais et variance faibles ou forts (on a considéré pour cette illustration un paramètre en dimension 1 : θ ∈ R). Idéalement on souhaiterait être dans la troisième situation : biais et variance faibles.
   Visuellement :

   • L’effet variance se traduit par la dispersion des estimateurs obtenus sur chacun
     des échantillons.

   • L’effet biais se traduit par l’écart existant entre la moyenne des estimateurs obtenus sur chacun des échantillons et la valeur du paramètre qu’on cherche à estimer. Nous reviendrons sur cette notion par la suite.

4. On souhaiterait plus généralement que l’estimateur soit de risque (quadratique)
   faible, ce risque est la somme de la la variance et du biais au carré de l’estimateur.

Cas d’une proportion, d’une moyenne (théorique) et d’une variance (théorique)

• Pour estimer une proportion, on considère la moyenne empirique qui est un estimateur consistant et sans biais.

• Pour estimer une moyenne (théorique), on considère la moyenne empirique qui est un estimateur consistant et sans biais.

• Pour estimer une variance (théorique), on considère :

  • de manière privilégiée, la variance empirique corrigée , en $\$\backslash (\backslash frac\{1\}\{n-1\}\backslash )\$$ (c'est-à-dire $\$\backslash (S^\{\backslash prime\; 2\}\backslash )\$$ ) qui est un estimateur consistant et sans biais,

  • éventuellement, la variance empirique non-corrigée , en $\$\backslash (\backslash frac\{1\}\{n\}\backslash )\$$ (c'est-à-dire $\$\backslash (V\backslash )\$$ ) qui est un estimateur consistant mais biaisé (même s'il est heureusement asymptotiquement sans biais).