ANALYSE DES PERFORMANCES

L’analyse des performance d’un modèle se fait en cliquant sur le bouton « Résultats » dans la section « Modèles ». Les résultats ne sont disponibles que si des sets de test ont été ajouté lors de la création du modèle en question.

Choix du set de test

Si vous avez configuré plusieurs sets de tests, vous pouvez analyser les résultats de votre modèle contre ces différents sets en cliquant sur le menu déroulant en haut à gauche.

Outils d’analyse

La page d’analyse des performance d’un modèle comporte plusieurs indicateurs standards calculés automatiquement : le rappel, la précision et le f1-score.

Ces indicateurs sont disponible au niveau global pour l’ensemble du modèle.

Ces indicateurs sont aussi calculés intention par intention et disponible sous forme de liste.

Enfin, une matrice de confusion vous permet de visualiser très rapidement le comportement de votre modèle sur la prédiction d’intention au niveau du rappel, de la précision ou en absolu.

Le widget top erreurs vous permet d’analyser en détail les principales erreurs de votre modèle dans l’attribution de valeurs :

  • Valeur ajoutée : un mot marqué par votre modèle mais non marqué dans la phrase test
  • Valeur manquée : un mot marqué dans une phrase de test mais non marqué par votre modèle
  • Confusion : un mot marqué avec une valeur X dans une phrase de tests et marqué avec une valeur Y par votre modèle

Indicateurs de performance

Rappel

Cet indicateur calcul le nombre de phrases correctement classifiées dans une intention par rapport au nombre de phrases totales à classifier dans cette intention.

Ex : Soit un set de test comportant 100 phrases dont 10 à classifier dans l’intention A. Si votre modèle arrive à classifier correctement 8 de ces 10 phrases dans l’intention A, alors le rappel de votre modèle sur l’intention A sera de 8/10 = 0.8 (ou 80%).

Précision

Cet indicateur calcul le nombre de phrases correctement classifiées dans une intention par rapport au nombre total de phrases classifiées dans cette intention.

Ex : Soit un set de test comportant 100 phrases dont 10 à classifier dans l’intention A. Si votre modèle arrive à classifier correctement 8 de ces 10 phrases dans l’intention A, mais qu’il classifie par erreur 5 phrases supplémentaires dans l’intention A alors qu’elles appartiennent à l’intention B, alors la précision de votre modèle sur l’intention A sera de 8/(8+5) = 0.61 (ou 61%).

F1 Score

Cet indicateur calcul la moyenne harmonique des scores de rappel et de précision du modèle.