On cherche donc à tester une hypothèse sur un paramètre θ (p dans le premier exemple introductif, μ dans le second).
Les hypothèse d'un test
On appelle hypothèse nulle, notée H0, l'hypothèse qu'on ne souhaite pas rejeter trop facilement : c'est celle qu'on teste.
L'hypothèse alternative, notée H1, indique dans quelles conditions on rejette H0 (elle fournit les informations de forme sur la région critique, définition à suivre immédiatement !).
La région critique
La région critique W indique quand on rejette l'hypothèse nulle, elle est basée sur une statistique de test. Pour déterminer entièrement la région critique, il faut connaître la loi (éventuellement asymptotique) de la statistique de test sous H0.
Les risques associés aux décisions
On considère plusieurs risques pour la prise de décision, et ce de manière séquentielle :
le risque de première espèce désigne celui de rejeter l'hypothèse nulle H0 alors que cette hypothèse est vraie. C'est le risque dont on veut se prémunir en premier lieu.
On se fixe un niveau de test qui représente le risque de première espèce maximum. On note α ce niveau. Les valeurs couramment employées sont 5%, 1% et 0.5%.Une fois ce premier risque borné par le niveau de test, on minimise le risque de seconde espèce β (de manière équivalente, maximise la puissance du test 1−β).
On peut résumer ces risques dans le tableau suivant :
La p-valeur
Usuellement on travaille avec la p-valeur du test : la plus petite valeur du niveau de test conduisant au rejet de H0. C'est cette valeur qu'on trouve dans les logiciels statistiques. On construit cette p-valeur de manière à avoir équivalence entre le rejet de H0 et le fait que la p-valeur soit inférieure au niveau de test :
Si la p-valeur est faible (selon un critère fixé par le domaine concerné), cela signifie que l’observation est rare (donc peu probable) sous H0, ce qui incite à rejeter l'hypothèse H0.