Technologie AI Revue de presse : Au cours des dernières années, avec le développement de la technologie de lecture de la machine de compréhension, de plus en plus ouverte Question de domaine Répondeur utilise une méthode de lecture des techniques de compréhension pour générer la réponse. Cependant, le domaine compréhension en lecture machine à base traditionnelle Question ouverte Réponse technologie il y a beaucoup de bruit dans les données, le biais de la probabilité de réponse et d'autres questions, ce qui rend la réponse finale à l'effet produit par les pauvres.

Sogou & Automation, Académie chinoise où l'information top conférence de récupération SIGIR 2019 (CCF Une réunion de classe) proposée conjointement un mécanisme document basé sur l'algorithme de lecture de gating, et l'utiliser dans une des questions sur le terrain ouvert et des réponses, dans de nombreux domaines Question ouverte Réponse applications nous avons obtenu les meilleurs résultats. Sogou papier société « Document Gated Reader Question ouverte de domaine Répondre » a écrit l'interprétation chinoise de l'article ci-dessous.

Sur la base de domaine ouvert la compréhension de la lecture de la machine Question Answering

Question ouverte domaine répondeur téléphonique (question ouverte domaine réponse) technologie donnée après tout type de questions, obtenir des réponses de toute ressource est destinée à. domaine traditionnel ouvert moyen Question Answering qu'ils utilisent un pipeline, qui est de trouver des documents avec des questions connexes par le biais d'un système de recherche documentaire, la réponse du document produit par une technologie de questions et réponses. Ces dernières années, le développement de la compréhension de la lecture de la machine de la technologie, de plus en plus ouverte Question de domaine Répondre à des méthodes de compréhension à la lecture de la machine à introduire la technologie pour extraire la réponse. Par exemple, Stanford ACL2017 propose un domaine de trame Q ouvert neuronal, comme le montre ci-dessous:

Figure 1: Cadre à base de machine lecture ouvert pour le champ compréhension de la technologie Q

Sur la base des techniques de compréhension précédentes de lecture de la machine souvent, il y a deux problèmes: d'abord, les méthodes conventionnelles sont la plupart du temps faible surveillance et la documentation connexe selon trouver le problème, et contient ensuite les documents de réponse correcte en tant que documents authentiques à la formation, et ce faible surveillance des données acquises contiennent souvent des documents erronés (faux positifs) de, comme l'exemple suivant:

Figure 2: surveillance faible bruit contenu dans obtenir le document

Un document qui contient la bonne réponse (Lebron James), mais le problème et ne sont pas liés. Bien que le document contient plus de deux bonnes réponses, mais beaucoup d'entre eux ne peuvent pas être utilisés pour répondre à des questions.

D'autre part, de nombreuses méthodes précédentes ne prennent pas en compte la probabilité de réponse normalisée: à répondre, et la probabilité de réponse de chaque document séparément, chaque article en réponse à la dernière comparaison directe de la probabilité d'obtenir la réponse finale, cependant, ce processus répondra à la probabilité de problème de polarisation grave, comme dans l'exemple suivant:

Figure 3: document répond aux questions probabilité de partialité

Ces deux articles, bien que le document 1 est vraiment en mesure de répondre à des questions. De plus, le modèle de document donne la probabilité de sélection des documents est également supérieure à la probabilité de 1 Document 2 (0,7 > 0,3). Toutefois, le document 1 est relativement longue, de sorte que la probabilité de devenir l'une des meilleures réponses après une normalisation de documents est relativement faible, mais en raison du 2, et dans le document relativement court que les réponses candidats rarement, de sorte que la probabilité de la réponse 2 relativement élevée après la normalisation. De cette façon, après une recherche de documents et de compréhension de lecture en deux étapes, la probabilité de la réponse sera supérieure à la probabilité de 21 réponse. Ce phénomène est appelé la probabilité de réponses biaisées.

mécanisme gating basé sur le lecteur de documents

Tout d'abord, le problème de polarisation de probabilité de réponse, nous avons conçu un mécanisme de déclenchement de document de lecteur spécial pour Answering domaine open question. Ce modèle est basé sur le modèle traditionnel de la compréhension de la lecture de la machine, a présenté un contrôleur de document pour contrôler la sortie de la réponse finale, le modèle tout comme indiqué ci-dessous:

Figure 4: mécanisme sequencers lecteur de documents

Parmi eux, la modélisation et les problèmes de documentation et de compréhension de lecture machine conventionnelle modèle similaire est basé sur deux voies mécanismes d'attention de LSTM. La couche de présentation contient un mot, une couche de présentation couche inférieure de préoccupation, couche de présentation avancée, et la couche de sortie de réponse.

Et les modèles précédents de différents, au cours de la représentation, nous avons ajouté une porte de contrôle des documents (document porte), pour l'information de sélection de documents est incorporé dans le résultat final aller. La porte document de contrôle émet un score de 0-1 pour influencer la probabilité de générer la réponse finale.

L'un des documents sur le rôle de contrôleur principal est une représentation inférieure et des problèmes de documentation, comme indiqué ci-dessous:

Figure 5: Document Controller

K est le nombre de documents candidats. On peut voir à travers le sommet d'une LSTM dans les deux sens, l'information entre les différents documents aussi le lien vers le haut. Le document final contient une fraction g est le contexte du score du document, qui représente les capacités de corrélation plus forte.

Enfin, dans la formation, afin d'éviter des réponses biaisées aux questions probabilité, nous utilisons une fonction objectif global normalisé:

Vous pouvez voir les scores et toutes les réponses scores de réponse correcte ont été comparés, donc le but de cette optimisation fera le score final de réponse est le plus élevé au monde.

génération de données de faible surveillance basée sur bootstrapping

Afin de résoudre le problème plus vaste de faible surveillance du bruit classique dans les données, nous utilisons la méthode de génération de données de bootstrapping (bootstrapping) sur la base. Plus précisément, nous avons d'abord comme certains du degré de confiance plus élevé selon les données de semences de données, par exemple, dans les données de semences SQUAD peut être la meilleure réponse fournie dans d'autres types de données peuvent être récupérées par le modèle le plus haut score. Ensuite, dans le modèle de pré-amorçage, nous formons notre modèle, puis sélectionnez un score plus élevé du document repose sur une faible surveillance du document de pointage de contrôleur de données ne peuvent jamais marqué et ajouté à l'ensemble de la formation pour poursuivre la formation là-bas. Le processus est le suivant:

expérience

Dans cet article, les quatre données fréquemment utilisées pour évaluer le modèle proposé, respectivement SQUAD, SearchQA, WebQuestions, WikiMovies. Quelques informations sur ces ensembles de données dans le tableau suivant:

Certains modèles classiques et l'effet de la comparaison du modèle proposé ci-dessous:

Peut être vu, le modèle proposé dans l'ensemble du modèle de données que dans le passé ont fait une amélioration significative.

Pour évaluer l'effet de l'introduction de la porte de contrôle des documents du document sélectionné, nous évaluons l'efficacité des données dans SQUAD notre modèle. L'analyse du document sélectionné peut être l'effet des deux paramètres: P @ N: à savoir les documents de N supérieur dans le document contient le meilleur document sélectionné. AR: La position moyenne de la meilleure documentation dans le document retourné. Documenter les résultats sélectionnés de différents modèles dans la figure ci-dessous:

On peut voir la sélection de documents, nous avons proposé contrôleur de document peut effectivement choisir le bon document, sélectionnez l'effet est beaucoup mieux que la méthode classique.

Une contribution de cet article est d'utiliser le facteur de normalisation mondial des objectifs de la formation, et par conséquent, nous mesurons ce facteur global de normalisation, nous évaluons les performances des différents modèles après avoir ajouté un nombre différent de bruit, les résultats présentés ci-dessous:

Peut voir différents modèles dans le document après avoir ajouté du bruit, n'a pas réduit de manière significative l'utilisation globale effet modèle normalisé, ce phénomène est confirmé par beaucoup plus que la question précédente et réponses travail de document. Et parce que nous utilisons la formation de la normalisation mondiale, de sorte que le modèle est moins de bruit.

Enfin, afin d'évaluer l'effet des données présentées ici méthode bootstrap, nous avons évalué la performance du modèle au cours de la bootstrapping menée en continu, les résultats présentés ci-dessous:

On peut voir après de nouvelles données est ajouté, l'effet du modèle d'amélioration continue, ce qui est un autre exemple d'un moment où un bon effet de modèle, basé sur le modèle de données sélectionné contient un modèle plus riche, sur lequel la une meilleure formation de la performance du modèle.

résumé

Cet article présente un modèle basé sur le domaine ouvert Question Answering document de choix fermé. Les questions de réponse pour cet article présente de biais dans la méthode classique présente un document sélecteurs sont gated utilisés pour déterminer si une partition de documents et d'utiliser la cible de normalisation mondiale pour l'optimisation. Trop de bruit pour la faible surveillance des problèmes de données existent dans la méthode traditionnelle, nous avons utilisé la méthode d'amorçage basée sur les méthodes d'amélioration des données utilisées pour améliorer l'extension des données de formation, dans des expériences, nous avons constaté que la méthode proposée peut effectivement choisir le document correspondant et la capacité des documents anti-bruit plus forts dans de nombreux domaine ouvert question données dans la méthode Answering proposée ont obtenu les meilleurs résultats.

Cliquez sur Lire l'original Consultez les groupes de discussion PNL haut discuteront des réalisations académiques plus de pointe