• 12 hours
  • Medium
License

Free online content available in this course.

course.header.alt.is_video

course.header.alt.is_certifying

Got it!

Last updated on 3/13/24

Allez plus loin : méthodes des moments et du maximum de vraisemblance

Ce chapitre est facultatif si vous souhaitez vous former au métier de Data Analyst. Par contre, il est obligatoire pour ceux qui visent le métier de Data Scientist.

Notez que, contrairement à ce que nous avons vu dans le chapitre précédent, il n'est pas toujours aussi simple de trouver des estimateurs. Il existe des méthodologies pour imaginer des estimateurs, en sus des idées "naturelles", parmi lesquelles la méthode des moments et la méthode du maximum de vraisemblance.

Méthode des moments

La méthode des moments consiste à trouver une fonction $\(m\)$ , continue et inversible, et une fonction (continue) $\(\varphi\)$ telles que $\(m\left(\theta\right)=\mathbb{E}\left[\varphi\left(X_{1}\right)\right]\)$ .

L'estimateur des moments pour $\(\theta\)$ vaut :

$\[\widehat{\theta}=m^{-1}\left(\frac{1}{n}\sum_{i=1}^{n}\varphi\left(X_{i}\right)\right)\]$

On sait que cet estimateur est consistant.

Estimateur du maximum de vraisemblance

L'estimateur du maximum de vraisemblance, comme son nom l'indique, maximise la vraisemblance définie comme suit :

Dans le cas discret i.i.d :

$\[\begin{align*} p\left(x_{1},\ldots,x_{n};\theta\right)&=\mathbb{P}\left(X_{1}=x_{1},\ldots,X_{n}=x_{n}\right)\\ &=\prod_{i=1}^{n}\mathbb{P}\left(X_{i}=x_{i}\right)\quad\text{ car les $X_{i}$ sont indépendantes}\\ &=\prod_{i=1}^{n}\mathbb{P}\left(X=x_{i}\right)\quad\text{ car les $X_{i}$ sont de même loi}\ . \end{align*}\]$

Dans le cas continu i.i.d :

$\[\begin{align*} p\left(x_{1},\ldots,x_{n};\theta\right)&=f\left(x_{1},\ldots,x_{n}\right)\\ &=\prod_{i=1}^{n}f_{X_{i}}\left(x_{i}\right)\quad\text{ car les $X_{i}$ sont indépendantes}\\ &=\prod_{i=1}^{n}f\left(x_{i}\right)\quad\text{ car les $X_{i}$ sont de même loi}\ . \end{align*}\]$

Maximum de vraisemblance

La vraisemblance mesure la probabilité que les observations proviennent effectivement d'un échantillon de loi paramétrée par $\(\theta\)$ . Trouver le maximum de vraisemblance consiste donc à trouver le paramètre le plus vraisemblable pour notre échantillon !

On considère usuellement la log-vraisemblance (qui facilite les calculs pour des lois de probabilité appartenant à la famille dite exponentielle) :

$\[\ell\left(x_{1},\ldots,x_{n};\theta\right)=\ln\left( p\left(x_{1},\ldots,x_{n};\theta\right)\right)\]$

Application à la loi exponentielle

Estimateur du maximum de vraisemblance

Soit un échantillon $\(\left(X_{1},\ldots,X_{n}\right)\)$ de loi $\(\mathcal{E}\left( \theta\right)\)$ .
Rappelons que la densité de cette loi exponentielle est : 

$\[f\left( x\right) =\theta \exp\left(-\theta x\right) \, \mathbb{1}_{\mathbb{R}^{+\ast}}\left( x\right)\]$

On a :

$\[\begin{align*} p\left( x_{1},\ldots,x_{n};\theta\right) & =\prod_{i=1}^{n}\ \theta \exp\left(-\theta x_i\right)\ \, \mathbb{1}_{\mathbb{R}^{+\ast}}\left( x_i\right) \\ & =\theta^n\exp\left(-\theta\sum_{i=1}^n x_{i}\right)\prod_{i=1}^{n}\mathbb{1}_{\mathbb{R}^{+\ast}}\left( x_i\right) \ ,\\ \ell\left( x_{1},\ldots,x_{n};\theta\right) & =\ln p\left(x_{1},\ldots,x_{n};\theta\right) \\ & =n\ln\left( \theta\right) -\theta\sum_{i=1}^n x_{i}+\ln\left(\prod_{i=1}^{n}\mathbb{1}_{\mathbb{R}^{+\ast}}\left( x_i\right)\right) \ . \end{align*}\]$

Il suffit donc de dériver les deux premiers termes par rapport à $\(\theta\)$ pour déterminer l'extremum (et on vérifie qu'il s'agit bien d'un maximum !) :

$\[\frac{\partial \ell\left( x_{1},\ldots,x_{n};\theta\right) }{\partial\theta}=\frac{n}{\theta}-\sum_{i=1}^n x_{i}\]$

On obtient :

$\[\frac{\partial \ell\left( x_{1},\ldots,x_{n};\theta\right) }{\partial\theta}=0 \quad\Leftrightarrow\quad\theta_{MV}=\frac{n}{\sum_{i=1}^n x_{i}}=\frac{1}{\overline{x}}\]$

$\(\frac{1}{\overline{X}}\)$ est donc l'estimateur du maximum de vraisemblance de $\(\theta\)$ .

Méthode des moments

On aurait également pu obtenir cette solution par la méthode des moments en notant que pour une loi $\(\mathcal{E}\left( \theta\right)\)$ :

$\[\mathbb{E}\left(X\right)=\frac{1}{\theta}\]$

Il suffisait de considérer les fonctions :

$\[m\left( \theta\right)=\frac{1}{\theta}\]$

Notons qu'on aurait également pu se baser sur le résultat suivant :

  $\(\mathbb{E}\left(X^2\right)=\frac{2}{\theta^2}\)$

pour obtenir un autre estimateur, mais celui-ci aurait été moins performant que l'estimateur du maximum de vraisemblance.

Example of certificate of achievement
Example of certificate of achievement