Métriques pour l’apprentissage supervisé
Avril 2020
Métriques pour l’apprentissage supervisé
Avril 2020
1 / 49
Philosophie 1 :
Elément défectueux vs élément sain
Métriques pour l’apprentissage supervisé
Avril 2020
2 / 49
Philosophie 1 : Matrice de confusion
Dans cette notétion ’+’ signifie que l’élément est défectueux et l’état ’-’
signifie que l’élément est sain.
Métriques pour l’apprentissage supervisé
Avril 2020
3 / 49
Philosophie 1 : Notations
Vrai Positif (TP) : élément défectueux (classe ’+’) rend bien un test
positif
Faux Positif (FP) : élément sain (classe ’-’) rend un test positif à tort
(Fausse alarme)
Vrai Négatif (TN) : élément sain (classe ’-’) rend bien un test négatif
Faux Négatif (FN): élément défectueux (classe ’+’) rend un test
négatif à tort (situation critique)
Métriques pour l’apprentissage supervisé
Avril 2020
4 / 49
Philosophie 1 : Notations
TPR (taux de vrais positifs) = TP/(TP+FN) = sensibilité/rappel
TPR = proportion de positifs/défauts correctement identifiés
FPR (taux de faux positifs) = FP/(FP+TN) = 1-spécificité
TNR (taux de vrais négatifs) = TN/(TN+FP) = 1-FPR = spécificité
FNR (taux de faux négatifs) = FN/(FN+TP) = 1-TPR =
1-sensibilité/rappel
Métriques pour l’apprentissage supervisé
Avril 2020
5 / 49
Philosophie 1 : Précision
Précision
Pr écision =
TP
(TP + FP)
= probabilité que l’élément soit défectueux si le test est positif
Mesure la capacité du test à éviter les fausses alarmes (FP). Plus la
précision est proche de 100%, moins il y a de FP.
Métriques pour l’apprentissage supervisé
Avril 2020
6 / 49
Philosophie 1 : Spécificité
Spécificité
Sp écificit é =
TN
= 1 − FPR = TNR
(TN + FP)
= probabilité que le test soit négatif sachant que l’élément est sain
Mesure la capacité avec laquelle on arrive à discriminer que l’élément est
bien sain.
Métriques pour l’apprentissage supervisé
Avril 2020
7 / 49
Philosophie 1 : Rappel/Sensibilité
Rappel/Sensibilité
Rappel =
TP
= TPR
(TP + FN)
= probabilité que le test soit positif sachant que l’élément est défectueux
Mesure la capacité avec laquelle on arrive à discriminer que l’élément est
bien défectueux. Mesure la capacité du test à détecter tous les défauts.
Plus la sensibilité est proche de 100%, moins il y a de FN.
Métriques pour l’apprentissage supervisé
Avril 2020
8 / 49
Philosophie 1 : F1-score
F1-score
F 1score = 2.
Precision.Rappel
Precision + Rappel
= la moyenne pondérée de la précision et du rappel.
Ce score tient donc compte à la fois des faux positifs et des faux négatifs.
Métriques pour l’apprentissage supervisé
Avril 2020
9 / 49
Philosophie 1 : Fβ-score
Fβ-score
F βscore = (1 + β 2 ).
Precision.Rappel
β 2 .Precision + Rappel
= moyenne harmonique pondérée entre précision et rappel.
beta < 1 : on privilégie la précision (on veut éviter les FP)
si beta > 1 : on privilégie le rappel (on veut éviter les FN)
Métriques pour l’apprentissage supervisé
Avril 2020
10 / 49
Philosophie 1 : Accuracy
Accuracy
TP + TN
TP + FN + TN + FP
= définie la proportion des prédictions correctes effectuées par le modèle
Accuracy =
Vient mesurer la proportion de réponses du test qui ont été correctes.
Métriques pour l’apprentissage supervisé
Avril 2020
11 / 49
Philosophie 2 : problème de classification
Métriques pour l’apprentissage supervisé
Avril 2020
12 / 49
Philosophie 2 : Matrice de Confusion
Matrice de confusion
La matrice de confusion est une matrice qui mesure la qualité d’un
système de classification. Chaque ligne correspond à une classe réelle,
chaque colonne correspond à une classe estimée.
Un des intérêts de la matrice de confusion est qu’elle montre rapidement si
un système de classification parvient à classifier correctement (il suffit d’en
regarder la diagonale).
Remarque : s’adapte à la situation multi-classes.
Métriques pour l’apprentissage supervisé
Avril 2020
13 / 49
Philosophie 2 : Notations
Métriques pour l’apprentissage supervisé
Avril 2020
14 / 49
Philosophie 2
Classification binaire
Métriques pour l’apprentissage supervisé
Avril 2020
15 / 49
Philosophie 2 : Précision
Précision
Pr écision =
TP
(TP + FP)
= proportion d’éléments à juste titre attribué à la classe ’A’
Mesure la capacité du test à discerner la classe ’A’ de la classe ’B’. Plus la
précicion est proche de 100%, moins il y a de FP.
Métriques pour l’apprentissage supervisé
Avril 2020
16 / 49
Philosophie 2 : Spécificité
Spécificité
Sp écificit é =
TN
= 1 − FPR = TNR
(TN + FP)
= vient mesurer la proportion d’éléments de la classe ’B’ correctement
attribué à cette classe.
Vient mesurer la capacité du test à discerner la classe ’B’ de la classe ’A’.
Plus la spécifité est proche de 100%, moins il y a de FP.
Métriques pour l’apprentissage supervisé
Avril 2020
17 / 49
Philosophie 2 : Rappel/Sensibilité
Rappel/Sensibilité
Rappel =
TP
= TPR
(TP + FN)
= vient mesurer la proportion d’éléments de la classe ’A’ correctement
attribué à cette classe.
Plus la sensibilité est proche de 100%, moins il y a de FN.
Métriques pour l’apprentissage supervisé
Avril 2020
18 / 49
Philosophie 2 : F1-score
F1-score
F 1score = 2.
Precision.Rappel
Precision + Rappel
= la moyenne pondérée de la précision et du rappel.
Ce score tient donc compte à la fois des faux positifs et des faux négatifs.
Intuitivement, il n’est pas aussi facile à comprendre que la précision, mais
F1 est généralement plus utile que la précision, surtout si la distribution
des classes est inégale.
Métriques pour l’apprentissage supervisé
Avril 2020
19 / 49
Philosophie 2 : Fβ-score
Fβ-score
F βscore = (1 + β 2 ).
Precision.Rappel
β 2 .Precision + Rappel
= moyenne harmonique pondérée entre précision et rappel.
si beta < 1 : on privilégie la précision (on veut éviter les FP)
si beta > 1 : on privilégie le rappel (on veut éviter les FN)
Métriques pour l’apprentissage supervisé
Avril 2020
20 / 49
Philosophie 2 : Accuracy
Accuracy
TP + TN
TP + FN + TN + FP
= définie la proportion des prédictions correctes effectuées par le modèle
Accuracy =
Vient mesurer la propotion de réponses du test ont été correctes.
Métriques pour l’apprentissage supervisé
Avril 2020
21 / 49
Philosophie 2 : Courbes ROC (courbe
sensibilité/spécificité)
Courbes ROC
Il s’agit d’une mesure de la performance d’un classificateur binaire ayant
pour représentation une courbe donnant le taux de vrais positifs en
fonction de faux positifs.
Plus l’aire sous la courbe est grande, plus la courbe s’écarte de la ligne du
classificateur aléatoire et se rapproche du classificateur idéal.
Métriques pour l’apprentissage supervisé
Avril 2020
22 / 49
Philosophie 2
Cas multiclasses
Métriques pour l’apprentissage supervisé
Avril 2020
23 / 49
Philosophie 2 : Notations
Vrai Positif (TPi ) : élément de la classe ’i’ bien classé comme
appartenant à la classe ’i’
Faux Positif (FPi ) : élément d’une autre classe classé à tort comme
appartenant à la classe ’i’
Vrai Négatif (TNi ) : élément d’une autre classe que ’i’ non classée
comme appartenant à ’i’
Faux Négatif (FNi ): élément de la classe ’i’ classé à tort comme
appartenant à une autre classe
Métriques pour l’apprentissage supervisé
Avril 2020
24 / 49
Philosophie 2 : Notations
é
i
= sensibilit
TPRi (taux de vrais positifs) = TPTP
rappel
i +FNi
proportiondepositifs
TPRi = d éfautscorrectementidentifi
és
i
FPRi (taux de faux positifs) = FPiFP
+TNi = 1 − sp écificit é
i
TNRi (taux de vrais négatifs) = TNTN
= 1 − FPRi = sp écificit é
i +FPi
é
i
FNRi (taux de faux négatifs) = FNFN
= 1 − TPRi = 1 − sensibilit
rappel
i +TPi
i
Précision associée à la classe ’i’ : Pr écisioni = TPTP
i +FPi
i
Rappel associé à la classe’i’ : Rappeli = TPTP
i +FNi
Métriques pour l’apprentissage supervisé
Avril 2020
25 / 49
Philosophie 2 : Matrice de dimension multiple
Métriques pour l’apprentissage supervisé
Avril 2020
26 / 49
Philosophie 2 : Notations
On appliquera dans la suite les notations suivantes pour le calcul des
métriques :
Métriques pour l’apprentissage supervisé
Avril 2020
27 / 49
Philosophie 2 : Notations
On appliquera dans la suite les notations suivantes pour le calcul des
métriques :
Figure: Matrice récapitulant les différentes mesures pour l’exemple donné
Métriques pour l’apprentissage supervisé
Avril 2020
28 / 49
Philosophie 2 : Matrice de dimension multiple
PrecisionA = 50%
RappelA = 50%
PrecisionB = 0% PrecisionC = 33.3%
RappelB = 0% RappelC = 50%
Métriques pour l’apprentissage supervisé
Avril 2020
29 / 49
Philosophie 2 : Accuracy par classe
Accuracy par classe
Accuracyclassei =
nb exemples classei correctement classés
nb exemples classei
=
TPi
= Rappeli
TPi + FNi
Cette métrique vient mesurer en quelle proportion le modèle parvient à
correctement détecter les exemples de la classei . Notée par la suite Acci
Exemple : AccuracyclasseA = 24 = 50%
Métriques pour l’apprentissage supervisé
Avril 2020
30 / 49
Philosophie 2 : Overall Accuracy
Overall Accuracy
Overall Accuracy =
nb d’exemples correctement classés
nb total d’exemples
P
TPi
= i
Ntotal
Vient mesurer en quelle proportion le modèle parvient à avoir correct, en
prenant en compte toutes les classes. Avec Ntotal le nombre total
d’exemples dont on dispose.
4
Exemple : Overall Accuracy = 12
= 33.33%
Métriques pour l’apprentissage supervisé
Avril 2020
31 / 49
Philosophie 2 : One vs All Accuracy
One vs All Accuracy
OvsA Accclassei =
Ntotal − (nb classei à tort + nb classei mal classés)
Ntotal
=
Ntotal − (FPi + FNi )
Ntotal
Permet d’évaluer comment le modèle arrive à discriminer la classei parmis
toutes les autres, en prenant en compte les faux positifs et les faux
négatifs. Avec Ntotal le nombre total d’exemples dont on dispose.
Métriques pour l’apprentissage supervisé
Avril 2020
32 / 49
Philosophie 2 : One vs All Accuracy
Exemple : One vs All AccuracyclasseA = 12−(3+2)
= 58.3%
12
Si déséquilibre des classes, on peut se retrouver avec une One vs All
Accuracy très élevée par classe, alors qu’on a une Overall Accuracy
médiocre. Ce déséquilibre peut ainsi camoufler de grandes failles de notre
modèle. On préfèrera l’Accuracy par classe dans ce genre de cas.
Métriques pour l’apprentissage supervisé
Avril 2020
33 / 49
Philosophie 2 : Average ?
De quels types de moyennes on dispose ?
Micro : calcule la métrique globalement en comptabilisant le total des
vrais positifs, des faux négatifs.
Macro : on calcule la métrique pour chaque classe et on en fait la
moyenne. Cela sans tenir compte du fait que les classes soient non
balancées.
Weighted : calcule la métrique pour chaque classe et détermine la
moyenne pondérée (version pondérée de la Macro)
Métriques pour l’apprentissage supervisé
Avril 2020
34 / 49
Philosophie 2 : Average Accuracy
Average Accuracy
M
Average Accuracy =
1 X
Acci
M
i=1
Acci =
TPi
= Rappeli
TPi + FNi
Acci l’accuracy associée à la classe i, on fait ainsi la moyenne des M
classes pour mesurer la proportion des prédictions correctes effectuées par
le modèle. Cette métrique est aussi appelée ”balanced-accuracy” dans la
littérature et la documentation Python.
Métriques pour l’apprentissage supervisé
Avril 2020
35 / 49
Philosophie 2 : Average Accuracy Exemple
N
1 X
Acci
Average Accuracy =
M
i=1
Acci =
2
AccA = 2+2
= 50%
TPi
TPi + FNi
0
AccB = 0+4
= 0%
2
AccC = 2+2
= 50%
Average Accuracy = 13 .(50 + 0 + 50) = 33, 33%
Métriques pour l’apprentissage supervisé
Avril 2020
36 / 49
Philosophie 2 : Average Error
Average Error
M
1 X
Erri
Average Error =
M
i=1
Erri =
FPi + FNi
TPi + FNi + FPi + TNi
Erri l’erreur associée à la classe i, on fait ainsi la moyenne des M classes
pour mesurer la proportion des prédictions erronées effectuées par le
modèle.
Métriques pour l’apprentissage supervisé
Avril 2020
37 / 49
Philosophie 2 : Average Error
M
1 X
Erri
Average Error =
M
i=1
Erri =
ErrA = 3+2
12 = 41.6%
FPi + FNi
TPi + FNi + FPi + TNi
ErrB = 1+4
12 = 41.6%
ErrC = 4+2
12 = 50%
1
Average Error = (41.6 + 41.6 + 50) = 44.4%
3
Métriques pour l’apprentissage supervisé
Avril 2020
38 / 49
Philosophie 2 : Average précision
Average précision
P
i TPi
(TP
i + FPi )
i
1 X
Precisioni
Macro-précision =
M
i
X ni
Weighted-rappel =
Precisioni
N
Micro − Pr écision = P
i
Avec i ∈ {1..M}, avec M le nombre de classes, ni le nombre d’exemples
appartenant à la classe i et N le nombre d’exemples dont l’on dispose.
i
Avec Precisioni = TPTP
, la précision associée à la i.
i +FPi
Dans les expérimentations on a utilisé la ”Macro-Précision”.
Métriques pour l’apprentissage supervisé
Avril 2020
39 / 49
Philosophie 2 : Average précision exemple
P
Micro − Pr écision = P
=
i TPi
i (TPi + FPi )
2+0+2
4
=
= 33.3%
(2 + 3) + (0 + 1) + (2 + 4)
12
1 X
Macro-précision =
Precisioni
M
i
1
2
0
2
1 1
2
= .(
+
+
) = .( + 0 + ) = 0.17%
3 2+3 0+1 2+4
3 5
6
X ni
Weighted-rappel =
Precisioni
N
i
=
1
2
0
2
1 1
2
.(4.
+ 4.
+ 4.
) = .( + 0 + ) = 0.17%
12
2+3
0+1
2+4
3 5
6
Métriques pour l’apprentissage supervisé
Avril 2020
40 / 49
Philosophie 2 : Average rappel
Average rappel
P
Micro-Rappel = P
i TPi
i (TPi + FNi )
1 X
Rappeli
M
i
X ni
Weighted-Rappel =
Rappeli
N
Macro-Rappel =
i
Avec i ∈ {1..M}, avec M le nombre de classes, ni le nombre d’exemples
appartenant à la classe i et N le nombre d’exemples dont l’on dispose.
i
, le rappel associé à la classe i.
Avec Rappeli = TPTP
i +FNi
Dans les expérimentations on a utilisé le ”Macro-Rappel”. A noter que
quand toutes les classes présentent le même nombre d’éléments
Macro − Rappel et Weighted − Rappel ont la même valeur.
Métriques pour l’apprentissage supervisé
Avril 2020
41 / 49
Philosophie 2 : Average rappel Exemple
P
Micro − Rappel = P
i TPi
i (TPi + FNi )
=
2+0+2
4
=
= 33.3%
(2 + 2) + (0 + 4) + (2 + 2)
12
1 X
Macro-Rappel =
Rappeli
M
i
1
2
0
2
1 2
2
= .(
+
+
) = .( + 0 + ) = 33.33%
3 2+2 0+4 2+2
3 4
4
X ni
Weighted-Rappel =
Rappeli
N
i
=
1
2
0
2
4 2
2
.(4.
+ 4.
+ 4.
) = .( + 0 + ) = 33.33%
12
2+2
0+4
2+2
12 4
4
Métriques pour l’apprentissage supervisé
Avril 2020
42 / 49
Philosophie 2 : Average F1-score
Average F1-score
micro-Precision.micro-Rappel
micro-Precision + micro-Rappel
1 X
Macro-F1-score =
F1-scorei
M
i
X ni
Weighted-F1-score =
F1-scorei
N
Micro-F1-score = 2.
i
Avec i ∈ {1..M}, avec M le nombre de classes, ni le nombre d’exemples
appartenant à la classe i et N le nombre d’exemples dont l’on dispose.
Precisioni .Rappeli
Avec F1-scorei = 2. Precision
i +Rappel
i
Dans les expérimentations on a utilisé le ”weighted-F1-score”.
Métriques pour l’apprentissage supervisé
Avril 2020
43 / 49
Philosophie 2 : Average F1-score Exemple
(cf.précédemment..) micro-Precision = 33.3% micro-Rappel = 33.3%
PrecisionA = 50% PrecisionB = 0 PrecisionC = 33.3%
RappelA = 50% RappelB = 0% RappelC = 50%
Micro-F1-score = 2.
= 2.
micro-Precision.micro-Rappel
micro-Precision + micro-Rappel
33.3x33.3
= 2x16.65 = 33.3
33.3 + 33.3
Macro-F1-score =
1 X
F1-scorei
M
i
1
50x50
0x0
33.3x50
1
+ 2.
+ 2.
) = (100 + 19, 98) = 39.9%
= .(2.
3
50 + 50
0+0
33.3 + 50
3
X ni
1
Weighted-F1-score =
F1-scorei = (4.100 + 4.19.98) = 39.9%
N
12
i
Métriques pour l’apprentissage supervisé
Avril 2020
44 / 49
Philosophie 3:cas particulier de classification
Détection/Segmentation
Métriques pour l’apprentissage supervisé
Avril 2020
45 / 49
Intersection-Over-Union (IoU)
IoU est la zone de chevauchement entre la segmentation prédite et la
vérité de terrain divisée par la zone d’union entre la segmentation prédite
et la vérité de terrain.
Métriques pour l’apprentissage supervisé
Avril 2020
46 / 49
Mean IoU
Mean IoU
N
MeanIoU =
1 X
IoUi
N
i=1
IoUi la mesure IoU associée à la classe i, on fait ainsi la moyenne des N
classes pour mesurer la proportion des prédictions correctes effectuées par
le modèle.
Le Mean IoU de l’image est calculée en prenant l’IoU de chaque classe et
en en faisant la moyenne.
Métriques pour l’apprentissage supervisé
Avril 2020
47 / 49
Average Precision
Average Precision
Métrique usuelle en tâche de détection, elle s’exprime comme étant une
somme pondérée des valeurs de Précision par les valeurs de Rappel.
N
Average PrecisionClassei =
1 X
(Rj − Rj−1 )Pj
N
j=1
Où N vient comptabiliser le nombre d’annotations de la classe i dont on
dispose. Rj et Pj respectivement le rappel et la précision associés à
l’annotation j.
Métriques pour l’apprentissage supervisé
Avril 2020
48 / 49
Mean Average Precision
Mean Average Precision
Métrique usuelle en tâche de détection. s’exprimant comme la moyenne de
l’Average Precision de toute les classes.
M
MeanAP =
1 X
APi
M
i=1
Où notre modèle dispose de M classes.
Métriques pour l’apprentissage supervisé
Avril 2020
49 / 49