Bonjour,

Je cherche à évaluer  la qualité d'une évaluation par pourcentages.

Dans la cas ou j'en ai un seul, par exemple:

A: 30%

B: 60%

C: 10%

Je peux assez facilement regarder si en moyenne j'ai effectivement cette proportion parmi mes résultats.

Maintenant, imaginons que j'ai une centaine de proportions, et un résultat final (imaginons les résultats de match de foot) dont en voici quelques un:

A: 20% B: 50% N: 30%, Résultat: N

A: 60%, B: 30%, N: 10%, Résultat: A

...

Maintenant, je cherche a connaitre la qualité de mes pourcentages, et c'est la que je bloque.

Dans le cas 1, ils sont tous identiques, dans le cas 2, ils sont tous différents.

Merci

Tu commences en disant ... "Je peux assez facilement regarder si en moyenne j'ai effectivement cette proportion parmi mes résultats."

Ahh? tu sais faire ça ?  Non. Tu crois savoir le faire, mais je pense que tu ne sais pas. 

J'ai pronostiqué 30% // 60% // 10% et j'ai obtenu 20% // 80% // 0% au bout de 10 matches, est-ce que mon pronostic était bon ? 

J'ai pronostiqué 30% // 60% // 10% et j'ai obtenu 32% // 63% // 5% au bout de 1000 matches, est-ce que mon pronostic était bon ? 

Selon moi, dans le premier scénario, je peux dire que mon pronostic était bon, alors que dans le 2nd cas, mon pronostic était mauvais.  Alors que, bizarrement, dans le 2nd cas, mon pronostic était assez proche du résultat, alors que dans le 1er cas, il était plus éloigné !

On est d'accord là dessus ? 

Reste à trouver des outils mathématiques, pour confirmer ce que je raconte. Je pense que les mots-clés qu'il te faut pour faire des recherches, c'est 'loi binomiale' // 'intervalle de fluctuation'

Bonjour,

Si tu veux evaluer la qualité de ta prédiction, tu peux utiliser la divergence de Kullback-Leibler qui est exactement faite pour ca. https://fr.wikipedia.org/wiki/Divergence_de_Kullback-Leibler. C'est un des critère fondamental en machine learning pour évaluer une prédiction. Attention, ce n'est pas une distance car ce n'est pas symmetrique. Si tu veux une version symmetrique, tu peux regarder la Divergence de Jenson-Shannon.

Voila en python ce que ca donne :

from scipy.stats import entropy

real = [0.3, 0.6, 0.1]
pred1 = [0.2, 0.5, 0.3]
pred2 = [0.6, 0.3, 0.1]
pred3 = [0.29, 0.61, 0.1]
pred4 = [0.001, 0.001, 0.998]

print(entropy(real, pred1)) => 0.121171237642
print(entropy(real, pred2)) => 0.207944154168
print(entropy(real, pred3)) => 0.000252884331978
print(entropy(real, pred4)) => 5.31923422649

Bon courage

-
Edité par coni63 7 juillet 2018 à 13:06:03