On cherche donc à tester une hypothèse sur un paramètre ( dans le premier exemple introductif, dans le second).
Les hypothèse d'un test
On appelle hypothèse nulle, notée , l'hypothèse qu'on ne souhaite pas rejeter trop facilement : c'est celle qu'on teste.
L'hypothèse alternative, notée , indique dans quelles conditions on rejette (elle fournit les informations de forme sur la région critique, définition à suivre immédiatement !).
La région critique
La région critique indique quand on rejette l'hypothèse nulle, elle est basée sur une statistique de test. Pour déterminer entièrement la région critique, il faut connaître la loi (éventuellement asymptotique) de la statistique de test sous .
Les risques associés aux décisions
On considère plusieurs risques pour la prise de décision, et ce de manière séquentielle :
le risque de première espèce désigne celui de rejeter l'hypothèse nulle alors que cette hypothèse est vraie. C'est le risque dont on veut se prémunir en premier lieu.
On se fixe un niveau de test qui représente le risque de première espèce maximum. On note ce niveau. Les valeurs couramment employées sont 5%, 1% et 0.5%.Une fois ce premier risque borné par le niveau de test, on minimise le risque de seconde espèce (de manière équivalente, maximise la puissance du test ).
On peut résumer ces risques dans le tableau suivant :
La p-valeur
Usuellement on travaille avec la p-valeur du test : la plus petite valeur du niveau de test conduisant au rejet de . C'est cette valeur qu'on trouve dans les logiciels statistiques. On construit cette p-valeur de manière à avoir équivalence entre le rejet de et le fait que la p-valeur soit inférieure au niveau de test :
Si la p-valeur est faible (selon un critère fixé par le domaine concerné), cela signifie que l’observation est rare (donc peu probable) sous , ce qui incite à rejeter l'hypothèse .