AI Technology Review par: extraction de relations est une tâche importante de traitement du langage naturel, la connaissance est l'un des moyens de base de l'exploitation minière du texte. étude de recherche en profondeur en relation avec extraction au cours des dernières années a fait l'inquiétude généralisée, qui repose sur une longue distance de surveillance, le modèle de réseau de neurones avec le mécanisme de l'attention que la principale solution au problème. Dans cette classe ouverte, les haut-parleurs trieront le contexte de neurones de développement du modèle en relation avec l'extraction et les derniers progrès dans les domaines liés à l'action.
Partager Président:
Han Xu, Tsinghua University Département du directeur de thèse Informatique Liu Zhiyuan professeur agrégé, les principales directions de recherche pour le traitement du langage naturel, l'acquisition de connaissances et ainsi de suite. Les travaux de recherche ont été publiés dans AAAI, COLING, EMNLP et ainsi de suite.
Ouvrez l'adresse de lecture de classe:
Partager Sujet: Modèle d'extraction de la relation nerf
grandes lignes de l'action:
-
Contexte du développement étude approfondie sur l'extraction de relation.
-
Sur la base de la relation entre les mécanismes neuronaux de modèle d'analyse d'extraction d'attention.
-
Introduire les derniers progrès dans des domaines connexes.
Lei Feng réseau AI Yanxishe au contenu des actions se résument comme suit:
Aujourd'hui, la principale extraction de relations haut-parleur développement récent dans le domaine du modèle neuronal, tout d'abord nous donner quelques connaissances de base de la science.
tâche d'extraction de relations appartient au sous-domaine de l'extraction de l'information, la fonction principale est de permettre à la machine retirée de l'entité donnée de phrase, et de clarifier la relation correspondante, principalement utilisé pour élargir la carte des connaissances, le texte libre non structuré dans des données structurées.
Parmi le rôle traditionnel, nous classerons comme un filtre d'extraction de relation, aux relations définies arbitrairement, entité bonne étiquetage puis entrez le texte, le texte est déterminé quel type de définitions de relations. Dans une certaine mesure, on peut dire que c'est un problème de classification supervisée.
En 2013, le modèle de réseau de neurones est appliqué pour extraire le champ de la relation, qui est, la phrase comme une caractéristique dans le réseau de neurones, a appris à faire les fonctions de classification par le réseau de neurones.
Un problème avec ces modèles qui nécessitent de grandes quantités de données et la main-d'uvre de haute qualité, des coûts plus élevés, et les difficultés sont donc confrontés à la promotion.
Pour résoudre ce problème, le concept de surveillance à distance est née, il introduit une hypothèse: S'il y a deux entités dans les relations extérieures de la carte du savoir, l'entité qui contient la phrase est la correspondance entre la carte. Cette méthode heuristique, la machine peut étiqueter automatiquement un grand nombre de données, puis utilisées pour former classificateurs faire l'extraction de relation.
Les avantages de la surveillance à distance est que cependant, aucune opération manuelle, et peuvent des données Pervasive à grande échelle, sont confrontés au problème du bruit.
Comment résoudre le problème du bruit?
La première méthode consiste à introduire l'apprentissage des multiples exemple, toutes les phrases contenant la même entité dans un ensemble (sac), le sac d'extraction de caractéristiques de la phrase si nécessaire, puis prédire les relations entre les entités.
Un travail 2015 de la surveillance à distance et multi-instance d'apprentissage ensemble, depuis lors, le modèle d'extraction de relation domaines clés essentiellement par la surveillance à distance + + multi-instance d'apprentissage des réseaux de neurones.
Attention, Modèle de mécanisme
Ce travail est dans notre laboratoire pour personnes âgées menée en 2016, principalement pour des problèmes de bruit qui existent dans l'apprentissage multi-instance en introduisant l'attention des mécanismes des peines de paquet (sac) dans un poids donné améliorer efficacement la prévision.
En savoir plus sur le principe de fonctionnement du modèle de mécanisme d'attention, s'il vous plaît regarder en arrière la vidéo 00:16:53, http: //www.mooc.ai/open/course/548 = Leiphone]
A partir des résultats expérimentaux point de vue, ajoutant mécanisme d'attention peut en effet améliorer efficacement l'effet du modèle. (Ligne noire afin d'augmenter le modèle de mécanisme d'attention)
A partir de 2016, le modèle de relation pour extraire les principaux domaines de la supervision de la télécommande d'origine + + apprentissage multi-instance de base de neurones modèle de réseau, puis ajouter un mécanisme d'attention.
Modèle d'extension
Tout d'abord, l'entité d'information est introduite pour construire des mécanismes décrits attentionnels
Ce travail sera décrit texte entité vecteurs terme phrase correspondant obtenu après traitement de deux fonctions, deux caractéristiques puis soustraites pour obtenir une relation potentielle, et enfin le vecteur potentiel en tant que relation mécanismes d'attention.
En second lieu, la mise en place d'un mécanisme de note douce
Afin de résoudre le problème de mislabeled, qui a mis en place une relation de travail à chaque niveau de confiance, le processus de formation une fois relation prévisible avec l'étiquetage d'origine est incompatible, et le niveau de confiance est plus élevé que l'on trouve d'origine, il sera par défaut à la présence de l'étiquette d'origine problèmes et prévoir des relations avec de nouvelles alternatives.
En troisième lieu, l'introduction de la formation de combat
En délibérément de faire du bruit à la peine, pratiquement amélioré le modèle d'immunité au bruit.
Quatrièmement, la relation entre la pluralité d'entités extraites
extraction de relations réalisée pour une grande partie de texte en plusieurs entités. Ceci est l'industrie d'une éventuelle mise au point de la recherche future, parce que nous sommes des êtres humains et des mécanismes cognitifs de tous les jours plus étroits.
Cinquièmement, l'intégration du modèle de représentation des connaissances
Le modèle du spectre et modèle relationnel sur un morceau d'extraction de connaissances faire une formation commune, et en tant que l'attention du mécanisme de la réduction du bruit. Dans ce processus, le texte peut aussi aider à améliorer et à la carte de correction.
Sixième, l'intégration de l'information et de la structure des connaissances carte
En introduisant la relation hiérarchique (relation primaire et secondaire) connaissance de mappage, pour construire un mécanisme attention caractérisé de gros grains à grains fins.
Sept, pour extraire les relations inter-langue
L'idée de base de ce travail est d'utiliser le mécanisme d'attention entre les différentes langues, le texte à l'autre pour faire des compromis dans la langue informatique. Les avantages de l'extraction de la relation inter-linguistique qui peuvent utiliser efficacement les complémentarités entre les langues, telles que les relations chinoises dans les données moins caractéristiques, les données peuvent être utilisées pour compléter les Anglais.
Huit extraction de relations inter-linguistique (version mise à jour)
En mettant en place un espace sémantique interlangage séparé et espace unifié, et l'introduction de la formation de combat, l'optimisation de l'effet cross-extraction finale des relations linguistiques.
Neuf, scénario de recherche est basé sur l'apprentissage quelques-shot
Afin de résoudre les problèmes de surveillance à distance et les données à longue queue, qui travaillent en construisant un petit ensemble de données d'échantillons étiquetés manuellement, de sorte que la machine peut apprendre le raisonnement par un échantillon de moins. Mais le travail est actuellement utilisé dans plus de domaines de l'image, le champ du langage naturel ont plus d'espace pour le développement.
Enfin, je recommande des ressources pertinentes.
Les trois premiers sont quelques-uns du modèle de notre groupe a terminé sa thèse pour obtenir les deux derniers est le nombre de travaux au coup par coup de code source ouvert.
Je partage l'arrêt d'aujourd'hui ici, je vous remercie!
Ce sont les clients actuels partagent tous. Plus ouvert go vidéo de classe à Lei Feng réseau AI Yanxishe communautaire (https://club.leiphone.com/) à regarder. Mise au point sur le numéro public micro-canal: AI Yanxishe (okweiwu), vous pouvez obtenir le dernier avis de temps en classe ouverte en direct.
