Note de Lei Feng réseau AI Technology Review: L'auteur est de scientifique des données taboola Inbar Naor, sa recherche est d'explorer l'application de l'apprentissage dans le système de recommandation de profondeur, l'auteur décrit l'incertitude du modèle de données dans les questions scientifiques, et d'explorer l'incertitude de la façon de déboguer un modèle. Lei Feng réseau AI Technology Review a été compilé conformément au texte original.

Lorsque la profondeur du réseau de neurones (DNN) deviennent plus puissants quand ils sont ensemble augmentent la complexité et cette complexité a également apporté une nouvelle série de défis pour les chercheurs, y compris le modèle interprétable le sexe.

Interprétabilité pour la construction de plus puissant et a la capacité d'attaquer le modèle contradictoire en termes de résistance critique. De plus, lorsque nous avons besoin d'un nouveau, mais d'être étude approfondie sur le terrain du modèle de conception, si l'on peut expliquer le modèle de mécanisme opérationnel, ce qui nous aidera à de meilleurs modèles de conception et d'analyse.

Au cours des dernières années, parce que conscient de l'importance modèle interprétabilité, les chercheurs ont mis au point plusieurs méthodes, et à la conférence de l'année dernière NIPS a également une exposition de recherche dédié (atelier) pour discuter du sujet. La fourniture d'un procédé de l'intelligibilité de modèle comprenant:

• CHAUX: Ceci est une approximation partiellement linéaire (approximation linéaire locale) est expliqué par le modèle de prédiction.

• Maximise la valeur d'activation (activation Maximization): Cette méthode peut être utilisée pour déterminer le mode d'entrée (motifs) d'entrée est bien entendu que le modèle de réponse maximum (réponse Model).

• propose la visualisation.

• La couche de réseau de neurones est incorporé une profondeur de l'interprétable d'espace de petite dimension.

• Méthodes d'emprunt de la psychologie cognitive pour expliquer.

• KDD 2018 réseau papier Lei Feng AI Technology Review article présente à la période de la « nouvelle méthode révolutionnaire pour expliquer avec précision et de manière cohérente la profondeur du réseau de neurones »

• Évaluation des incertitudes - ce qui est l'objet de cet article.

Mais avant de commencer Delve dans la façon d'utiliser l'incertitude pour expliquer le modèle et le débogage, nous allons comprendre pourquoi l'incertitude est si importante.

Pourquoi avons-nous besoin de se concentrer sur l'incertitude?

Un exemple notable est les applications à haut risque. Supposons que vous concevez un modèle pour aider les médecins à décider sur les meilleures options de traitement pour les patients. Dans ce cas, nous ne payons que l'attention sur la précision du modèle pour prédire les résultats, mais aussi préoccupé par le degré de certitude des résultats du modèle de prédiction. Si le résultat de l'incertitude est trop élevée, doit être examinée attentivement le médecin.

véhicules autonomes est un autre exemple intéressant. Lorsque le modèle est incertain s'il y a des piétons sur la route, nous pouvons utiliser cette information pour réduire la vitesse ou déclencher une alarme pour le traitement du conducteur.

L'incertitude peut aussi nous aider à résoudre le problème parce que l'échantillon de données (exemples de données) a causé. Si le modèle n'est pas étudié échantillon similaire aux données cibles, les résultats prévus de ses objectifs est le meilleur échantillon de « Je suis désolé, je ne sais pas. » Cela empêche le peuple afro-américains croient à tort que les gorilles erreurs embarrassantes telles que les photographies avant Google. En effet, l'erreur de jeu de formation parfois causée par une diversification insuffisante.

L'incertitude du dernier mode d'application est qu'il peut être utilisé comme outil pour le modèle de débogage praticien, qui est l'objet de cet article. Nous parlerons plus tard, mais avant cela, regardons les différents types d'incertitude.

Type d'incertitude

Il existe actuellement différents types d'incertitudes et de modélisation, et chacun a un but différent.

L'incertitude du modèle, qui est la perception de l'incertitude (incertitude épistémique): Supposons que vous ayez un seul point de données, et que vous voulez savoir quel type de modèle linéaire explique le mieux vos données. Mais la réalité est, quand vous n'êtes pas en mesure de déterminer quelle ligne est juste - nous avons besoin de plus de données!

À gauche: manque de résultats de données dans un degré élevé d'incertitude. A droite: Plus l'incertitude des données est plus faible.

l'incertitude cognitive explique l'incertitude dans les paramètres du modèle. Nous ne sommes pas sûr de ce que le bon modèle qui décrit le mieux les données de poids, mais il a plus de données a pu réduire cette incertitude. Cette incertitude est très important dans les applications à haut risque et le traitement de petites données rares.

Par exemple, supposons que vous voulez créer un peut déterminer si l'image d'entrée des animaux peut manger votre modèle. Ensuite, votre modèle ne contient que les lions et les girafes ensembles de données ont été formés et donne maintenant une image de zombie comme entrée. Parce que le modèle n'est pas appris image zombie, donc prédire l'incertitude du résultat sera élevé. Cette incertitude appartiennent résultats du modèle, et si vous vous concentrez sur les données fournies plus l'image de zombie, l'incertitude du modèle sera réduit.

L'incertitude des données Ou appelé incertitude aléatoire (Aleatoric d'incertitude), se réfère à l'observation du bruit propre. Parfois, l'événement lui-même est aléatoire, dans ce cas, nous obtenons plus de données n'a pas aidé, parce que la partie inhérente du bruit des données.

Pour comprendre cela, revenons au modèle des prédateurs de la discrimination. Notre modèle peut déterminer la présence d'une image de lion, et donc prédire que vous pourriez être mangé. Toutefois, si vous n'êtes pas lions affamés maintenant quoi? Cette incertitude provient de données. Un autre exemple est qu'il ya deux ressemble à un serpent, mais l'un des toxiques, l'autre ne sont pas toxiques.

l'incertitude aléatoire peut être divisé en deux catégories:

Écart d'incertitude (incertitude homoscédastique): A cette époque, toutes les entrées ont la même incertitude.

Hétéroscédasticité incertitude (incertitude hétéroscédastique): Cette incertitude dépend des données d'entrée. Par exemple, le modèle de prédiction de l'information de profondeur d'image, paroi plane sans relief (mur sans relief) de l'image a une forte ligne de fuite (les lignes de fuite) ayant une plus grande incertitude.

L'incertitude de mesure (incertitude de mesure) : Une autre source d'incertitude de la mesure elle-même. Lors de la mesure de la présence de bruit, l'incertitude augmentera. Dans le modèle des prédateurs de discrimination, si certaines des images sont capturées par la mauvaise qualité de la caméra vidéo, il est possible d'endommager la confiance du modèle. Ou en train de tirer sur un Hippopotame en colère, car nous courons et le tournage, ce qui entraîne une image floue.

bruit étiquettes (étiquettes Noisy) : En apprentissage supervisé, nous utilisons des balises pour former le modèle. Et si l'étiquette elle-même avec le bruit, l'incertitude augmentera.

Cependant, actuellement il y a plusieurs façons de mettre en uvre différents types de modélisation des incertitudes. Ces méthodes sont décrites dans les articles suivants de cette série. Maintenant, supposons qu'il existe un modèle de boîte noire a exposé son incertitude des prévisions, que si nous aidons à ce modèle pour le déboguer?

Prenons un modèle taboola par exemple, le modèle peut être utilisé pour prédire la probabilité d'un utilisateur en cliquant sur un contenu recommandé.

Utiliser le modèle de débogage incertitude

Ce modèle a un certain nombre de caractéristiques fournies par la classification représentation vectorielle intégrée, cependant, il est difficile d'apprendre la valeur du vecteur commun rare embarqué (plongement Généralisée). solution commune à ce problème est d'utiliser un vocabulaire spécial Out of (MHV) vecteur intégré.

Pensez à un des articles de l'annonceur, si tous les annonceurs rares partagent le même vecteur embarqué MHV, le modèle du point de vue, ils sont fondamentalement du même annonceur. Cet annonceurs MHV Il existe de nombreux produits différents, chaque produit a un autre taux de clics (CTR). Si nous utilisons les annonceurs seulement comme clics prédicteur de taux, le MHV produira une forte incertitude.

Pour vérifier la sortie du modèle MHV degré élevé d'incertitude, nous avons utilisé un ensemble et de vérifier tous les annonceurs vecteur intégré converti MHV. Ensuite, nous avons examiné avant et après le modèle de conversion de vecteur incertitude. Comme prévu, en raison de la conversion de vecteur d'incertitude, l'augmentation du modèle. Si vous donnez aux annonceurs une richesse de vecteur d'information intégré, l'incertitude du modèle sera réduit.

Nous pouvons le répéter pour différentes fonctions, puis trouver ceux qui utilisent MHV les résultats de la fonction intégrée dans une incertitude plus faible lorsque le remplacement du vecteur. Ces caractéristiques sont uninformative, ou parce que nous leur fournissons de la façon dont le modèle est faux.

On peut même employer une granularité plus fine: Certains annonceurs il y a une grande variabilité entre les clics taux pour les différents produits, et d'autres de la taux de clics publicitaires est à peu près la même chose. Nous espérons que ce modèle a une plus grande incertitude des premiers annonceurs de classe. Par conséquent, une stratégie d'analyse utile est de se concentrer sur la corrélation entre les annonceurs et l'incertitude clics variabilité de la fréquence. Si la corrélation est pas positif, cela signifie que le modèle ne comprend pas l'incertitude associée à chaque annonceur. Cet outil nous permet de comprendre l'architecture du modèle de processus de formation ou que ce soit par la question et indiquer si nous devons encore déboguer.

Nous pouvons effectuer une analyse similaire et voir si les questions liées à une incertitude particulière réduira le nombre de fois nous l'avons montré (à savoir plus d'utilisateurs / exposition locale). De même, nous voulons que le modèle devienne plus déterminé, si le modèle est encore incertain, nous allons continuer à déboguer.

Un autre exemple est cool les caractéristiques de titre: un titre unique avec des mots rares devrait apporter une forte incertitude du modèle. Cela est dû à l'absence de résultats du modèle lié à l'expérience d'apprentissage. Nous pouvons vérifier à partir centralisée pour identifier les titres rares qui contiennent des mots et d'estimer l'incertitude du modèle sur ces titres. Ensuite, nous allons utiliser un titre pour re-former le modèle, puis observer l'incertitude du modèle si ces titres ont diminué. Nous avons pu obtenir une meilleure compréhension du tableau ci-dessous.

conclusion

L'incertitude dans de nombreux domaines est un gros problème. La clarté dans la tâche spécifique en question appartient à quel type d'incertitude est très important. Une fois que vous savez comment modèle, vous pouvez les utiliser de différentes manières. Dans cet article, nous avons discuté de la façon de les utiliser pour le modèle de débogage. Dans le prochain article, nous allons discuter des différentes méthodes d'estimation de l'incertitude obtenues à partir du modèle.

Via « Utilisation de l'incertitude pour votre modèle Interprétez », les commentaires compilés par la technologie réseau Lei Feng AI.