Lei Feng réseau AI Yanxishe presse: Sélectionnez l'évaluation correcte est essentielle à votre classificateur. Si vous choisissez bien, vous pourriez tomber dans ce dilemme: vous considérez-vous une bonne performance du modèle, mais ce n'est pas.

Récemment, un article sur un aperçu de towardsdatascience dans l'évaluation du classificateur, et doit être utilisé dans tout scénario, Lei Feng réseau AI Yanxishe compiler le contenu sont résumés comme suit:

Dans cet article, vous apprendrez pourquoi l'évaluation de classificateur plus difficile, pourquoi, dans la plupart des cas, une précision de classification apparemment élevé de performance de classement n'a pas été si bon, ce qui est le classificateur d'évaluation correcte, vous devriez l'utilisation de ces évaluation et quand, comment comptez-vous créer un taux de précision de classificateur.

annuaire

• Évaluation Pourquoi est-il si important?

• Matrice de confusion

• Précision et rappel

• F-Score

• précision compromis et le rappel de

• Courbes et rappel de

• ROC, courbe AUC et ROC, la valeur d'AUC

• résumé

Évaluation Pourquoi est-il si important?

En général, l'évaluation d'un classificateur qu'un algorithme de régression est beaucoup plus difficile à évaluer. Le célèbre jeu de données MNIST est un bon exemple, il contient plus d'un 0-9 écrits à la main des photos numériques. Si nous voulons construire un classificateur pour déterminer si une valeur de 6 à construire un algorithme toutes les entrées classées comme non-6, alors vous concentrer recevoir une précision de 90% des données MNIST parce que l'ensemble de données est seulement d'environ 10% des images 6. Ceci est un problème majeur dans l'apprentissage de la machine, mais aussi vous avez besoin de plus de quelques raisons d'utiliser votre test d'évaluation classificateur.

Matrice de confusion

Tout d'abord, vous pouvez regarder la matrice de confusion, il est également appelée matrice d'erreur. Il est une forme décrivant la performance du modèle d'apprentissage supervisé sur les données de test, où la valeur réelle est inconnue. Chaque rangée de la matrice représente un exemple de la classe prévue, par exemple et chaque colonne (ou vice versa) indique la catégorie actuelle. La raison pour laquelle elle est appelée « matrice de confusion » est que vous pouvez facilement l'utiliser pour voir le système en place qui confondre les deux catégories.

Vous pouvez voir la figure ci-dessous à l'aide du sklearn de sortie fonction « confusion_matrix » résultant des ensembles de données MNIST:

Chaque ligne représente une classe réelle, chaque colonne représente une prédiction de la catégorie.

La première ligne est en fait le numéro « non-6 » d'images (classe négative). Parmi eux, 53,459 images ont été correctement classés comme « non-6 » (appelée « classe réelle »). Les 623 images restantes ont été mal classées comme « 6 » (fausse classe positive).

La deuxième ligne représente la véritable image « 6 ». Parmi eux, 473 photos sont mal classées comme « non-6 » (classe faux négatif), 5445 images sont correctement classés comme « 6 » (le vrai genre).

S'il vous plaît noter la classification parfaite sera 100% correct, ce qui signifie qu'il ne vraiment vrai de classe de classe et négative.

Précision et rappel

Une matrice de confusion peut vous donner beaucoup de bonnes informations sur la façon dont votre (classification) modèles font, mais il y a un moyen pour vous d'obtenir plus d'informations, telles que le calcul exact de la classification des taux (de précision). De toute évidence, il est prévu que la précision des échantillons positifs (précision), et il est souvent et le rappel (Recall, à savoir des exemples positifs proportion détectés correctement de tous les cas positifs) vus ensemble.

sklearn dispose d'une fonction intégrée pour calculer une précision et de rappel de:

Nous avons maintenant un meilleur indicateur de l'évaluation du classificateur. Notre modèle prédit l'image de la situation « 6 » 89% est correcte. Il nous dit qu'il se rappellera 92% de vraiment « 6 » Prévisions des exemples est « 6. »

Bien sûr, il existe de meilleures méthodes d'évaluation.

valeur F-

Vous pouvez mettre la précision et la vitesse de rappel fusionné en un seul indice d'évaluation, qui est appelée « valeur F- » (également connue sous le nom de la « valeur F1- »). Si vous voulez comparer deux classificateurs, la valeur F- serait utile. Il est l'utilisation de précision et de rappel calculée moyenne harmonique, et de faibles valeurs donnera plus de poids. En conséquence, seuls les taux de précision et de rappel sont élevés lorsque le classificateur obtenir une grande valeur F-1. F peut être facilement calculé les valeurs sklearn.

A partir de la figure, vous pouvez voir notre modèle a été F-1 valeur de 0,9:

Cependant la valeur F- est pas une panacée « Saint Graal » précision et rappeler classificateur à proximité F-1 aura un meilleur score. Ceci est un problème, parce que parfois vous voulez que le taux exact, et parfois souhaitez taux de rappel. En fait, plus le taux de précision entraînera une baisse des taux de rappel, et vice versa. Ceci est appelé précision de compromis et le taux de rappel, nous discuterons dans le chapitre suivant.

précision compromis et le rappel de

Pour mieux expliquer, je vais vous donner quelques exemples pour illustrer le taux élevé de précision quand il veut, quand il veut un taux élevé de rappel.

Taux élevé de précision:

Si vous êtes un classificateur formé est utilisé pour détecter si pour les enfants de voir la vidéo appropriée ou non, vous voudrez peut-être à un taux élevé de précision. Cela signifie que vous voulez obtenir classificateur peut rejeter un grand nombre de vidéos pour les enfants, mais ne vous donnera pas la vidéo contient du contenu adulte, il sera donc plus d'assurance. (En d'autres termes, un taux de précision très élevé)

Taux élevé de rappel:

Si vous voulez former un classificateur pour détecter les personnes qui tentent de pénétrer dans le bâtiment, ce qui nécessite un taux élevé de rappel. Classificateur peut être seulement 25 pour cent le taux de précision (et donc la cause des fausses alarmes), tant que le classificateur taux de rappel de 99% et presque chaque fois que quelqu'un essaie de pénétrer dans votre volonté à la police, mais semble être un bon classificateur.

Pour mieux comprendre ce compromis, nous examinons comment classificateur descente de gradient stochastique (SGD) pour prendre des décisions de classement sur MNIST ensemble de données. Pour chaque image devant être triés, qui calcule le score basé sur une fonction de décision, et l'image est classée comme une valeur numérique (score plus grande que lorsque la valeur de seuil) ou d'une autre valeur numérique (lorsque le score est inférieur à la valeur de seuil).

La figure suivante montre le score numérique écrit à la main du bas (à gauche) à disposition haute (à droite). Supposons que vous ayez un classificateur, qui est utilisé pour détecter un « 5 », et le seuil est situé au milieu de l'image (où le centre de la flèche). Ensuite, vous verrez quatre classes réel (exemple réel de « 5 ») et une classe de faux positifs (en fait un « 6 ») à droite de ce seuil. Ce seuil sera de 80% le taux de précision (quatre cinquièmes), mais il ne peut tout de six vraie trouvaille quatre à « 5 » de l'image, de sorte que le rappel était de 67% (six points quatre). Si vous êtes au seuil à droite de la flèche, ce qui se traduira par une plus grande précision de taux, mais avec un taux de rappel plus faible, et vice-versa (si vous déplacez la valeur de seuil à la gauche de la flèche).

Taux d'exactitude / courbe de rappel

Compromis entre la précision et le taux de précision de rappel peut être - courbe de rappel est observée, il vous permet de voir quel meilleur seuil.

Une autre approche est le taux de précision et de rappel à une courbe tracée:

Dans la figure, on peut clairement voir que lorsqu'environ taux de précision de 95%, le taux de précision accrue, une diminution de rappel rapide. D'après les images ci-dessus deux, vous pouvez choisir un taux d'offrir le meilleur seuil de précision compromis entre / rappel pour vos tâches en cours d'apprentissage de la machine. Si vous voulez taux de précision de 85%, vous pouvez voir le premier graphique, la valeur seuil est d'environ 50000.

ROC, courbe AUC et ROC, la valeur d'AUC

courbe ROC est un autre outil pour l'évaluation et la comparaison des deux classificateurs. Et courbes précision / rappel ont beaucoup de similitudes, bien sûr, ils sont différents. Il a vraiment la classe de taux (vrai taux positif, à savoir Recall) et fausse classe taux positif (proportion de cas de négatif) correspond à une classification erronée figure dans le dessin, au lieu d'utiliser la précision et le rappel.

Bien sûr, il a également été un compromis. Classificateurs génèrent plus fausse classe positif, le taux réel de la classe sera plus élevé. La ligne rouge représente la moyenne d'un classificateur complètement aléatoire, le classificateur doit former une courbe loin que possible.

zone de passage (AUC), mesurée sous la courbe ROC, courbe ROC fournit une méthode pour comparer les performances des deux classificateurs. Cette zone est appelée valeurs ROC AUC, AUC ROC 100% classification correcte de la valeur de 1.

Un classificateur complètement aléatoire ROC AUC de 0,5. La figure MNIST est le modèle de sortie:

résumé

Grâce à la description ci-dessus, nous apprendrons si l'évaluation et de classification, ainsi que des outils permettant d'évaluer. De plus, apprendre aussi comment avec précision et rappeler un compromis, et comment comparer la performance de la courbe ROC ASC différents classificateurs.

Nous avons aussi appris que la classification de haute précision ne pas satisfaisant que cela puisse paraître: En raison du taux moyen de grande précision la baisse des taux de rappel.

La prochaine fois que vous entendez quelqu'un dire qu'un classement avec un taux de précision de 99% ou de précision, vous savez que vous devriez demander à d'autres indicateurs, il a expliqué comment ce poste.

Liens vers les ressources

https://en.wikipedia.org/wiki/Confusion_matrix

https://github.com/Donges-Niklas/Classification-Basics/blob/master/Classification_Basics.ipynb

https://www.amazon.de/Hands-Machine-Learning-Scikit-Learn-TensorFlow/dp/1491962291/ref=sr_1_1?ie=UTF8&qid=1522746048&sr=8-1&keywords=hands+on+machine+learning

via towardsdatascience

Lei Feng réseau de compilateur de finition AI Yanxishe.