Ali sur REVIEW: Dans le contexte actuel du moteur de recherche intelligente, non seulement pour comprendre les informations que les utilisateurs extraient et résumez le contenu pertinent au sujet de la recherche, mais dans une construction progressive liée aux résultats de la recherche du système complet de connaissances, ce qui permet aux utilisateurs d'obtenir inattendu découverte. Smarter recherche et de l'application de l'équipe carte de connaissances sur cette route explorer en permanence.

Hier, nous avons introduit la méthode fondée sur l'extraction de relation scaphandrier son application dans la construction des données cartographiques de connaissances (Portal: la construction de données cartographiques de connaissances « os », les ingénieurs Ali comment gagner). Cette méthode de haute précision, une bonne interaction, reflète la forte capacité d'extraire un seul des relations de travail. Aujourd'hui, nous allons tous continuer à partager la technologie d'extraction est basée sur la relation entre la profondeur de l'apprentissage et de l'exploration et de la pratique, ainsi que quelques-uns des défis rencontrés dans le processus des affaires d'atterrissage est construit sur des données de cartes plus intelligentes du savoir, nous réjouissons de discuter de l'échange avec vous.

modèle d'apprentissage profondeur introduit

étape scaphandrier dans le système de traitement de données dépend en grande partie sur les outils de la PNL, un processus d'erreur si le PNL, ces erreurs seront propagées sans cesse et amplifiés dans l'étude ultérieure de l'étape d'étiquetage, l'effet des résultats d'extraction de relation finale. Pour éviter cela, la propagation et l'impact des technologies d'apprentissage au cours des dernières années, la profondeur a commencé à devenir de plus en plus d'attention et de l'application dans la tâche d'extraction de relation. Ce chapitre décrit une technique d'amélioration marquée pour la méthode de supervision à distance et l'extraction relation basée sur le modèle de réseau de neurones convolution de moissonneuses-batteuses et la méthode.

Piecewise Convolutif modèle Neural Networks (de PCNNs)

. PCNNs modèle pour 2015 proposé par Zeng et al, mis principalement des solutions avant deux problèmes:

• problème de mauvaise étiquette pour la surveillance à distance, le modèle de l'apprentissage proposé façon multi-instance de l'ensemble de la formation des exemples tirés de formation modèle de formation élevé pour prendre confiance.

• modèle statistique traditionnel aux fonctions d'extraction et des erreurs qui se produisent lors de la propagation d'erreur suivant, le modèle proposé par fonction d'apprentissage du réseau de neurones à convolution automatiquement par morceaux, évitant ainsi le processus complexe de la PNL.

La figure est un schéma de principe du modèle PCNNs:

PCNNs modèle comprend les étapes suivantes:

Les expériences montrent que, PCNNs + méthode d'apprentissage multi-instance sur la moyenne des points de pourcentage Top N 5 méthode simple plus d'utiliser un apprentissage multi-instance.

mécanismes d'attention et d'autres améliorations

Le modèle ci-dessus pour chaque entité d'utiliser uniquement une phrase pour apprendre et prédire la perte d'une grande quantité d'informations de l'autre phrase étiquetée correcte. Afin de filtrer le mauvais cas de l'étiquette en même temps, l'utilisation plus efficace comme une grande partie de la phrase de l'étiquetage correct, Lin et al. Proposition PCNNs + algorithme Attention (APCNNs) en 2016. PCNNs par rapport au modèle précédent, l'algorithme après la couche cellulaire, avant l'ajout d'un mécanisme d'attention de couche sur la base du niveau de la phrase, schéma de l'algorithme est la suivante:

mécanisme d'Attention en outre, il existe une autre information auxiliaire est également ajouté à l'extraction de relation de changement de qualité modèle d'apprentissage multi-instance, telles que l'ajout entité d'information de description à une entité de calcul vectoriel de temps (Ji et al, 2017); Nerve externe l'accès au réseau à des données et des informations sur le degré de fiabilité de la confiance des échantillons de formation modèle Guide (Tang et al., 2017).

La figure ci-dessous montre une comparaison entre la précision et le taux de rappel de chaque modèle et l'algorithme amélioré, dans lequel la surveillance à distance Mintz fait pas mal le traitement des problèmes d'étiquette marquée directement avec tous les échantillons pour la formation, MultiR et MIML est l'utilisation du dépistage par exemple de modèle graphique probabiliste deux exemplaires modèle de multi-apprentissage; modèle PCNN + MIL est décrit dans la section précédente; APCNNs ajoutés mécanismes d'attention base PCNN + MIL; PCNNs + D en utilisant les informations de description ajoutée à base PCNN + MIL; APCNNs + D sur la base de APCNNs ajoutée l'utilisation des informations de description. Expérience sur le terrain que l'utilisation d'une évaluation plus approfondie ensemble de données du New York Times (NYT) (Riedel et al., 2010).

Les progrès dans les méthodes d'apprentissage de la profondeur de la construction de carte

Application de modèle d'apprentissage en profondeur dans les données de carte Dieu connaissance du cheval est encore la construction au stade exploratoire, ce chapitre présente quelques-uns des problèmes actuels et des progrès rencontrés au cours des opérations d'atterrissage.

préparation du corpus et des entités à quantifier

Une grande partie dépend de la profondeur du modèle d'apprentissage pour quantifier la précision du jeton. méthodes à base de corpus et scaphandrier préparation, où le jeton par l'entité de segmentation taille du sujet en unités de mots, au lieu des unités physiques, afin d'identifier le lien NER. Exhaustivité et corpus échelle vecteur Word2vec généré avec la possibilité de caractériser le corpus jeton sont liés, nous choisissons corpus Encyclopédie en quantité word2vec de données de formation, chaque donnée statistique et les paramètres du modèle comme suit:

Afin de vérifier l'effet de la formation des vecteurs terme, nous faisons une variété de résultats des tests word2vec donné quelques données expérimentales ici. Il est indiqué ci-dessous une entité donnée, de trouver les plus pertinentes entités expériences:

Ce qui suit est une entité d'une entité donnée et une prédiction d'une entité, le calcul de l'entité prévue dans une autre entité de l'expérience. . Cinq relation de prédiction sélectionnée au hasard, la configuration représentée sur la figure 15 pour un ensemble donné de prévision des entités et entités, les résultats de prédiction comme indiqué ci-dessous, en plus de deux exemples roses, les autres ont été correctement prédit:

Modèle de sélection et de préparation des données de formation

Des applications spécifiques que nous choisissons d'utiliser le modèle APCNNs. NYT nous sur un ensemble de données standard plusieurs modèles reproduisent clés mentionnés dans le chapitre précédent, y compris CNN + MIL, PCNN + MIL, CNNs (modèle CNN basé sur le mécanisme de l'attention) et APCNNs. résultats reproductibles avec le papier de base étant donné essentiellement les mêmes, la performance modèle APCNNs est supérieure aux autres modèles. La figure est appelée quasi-comparaison des résultats de plusieurs modèles:

Afin d'obtenir une multitude de données de formation, nous prenons 15 relation de base dans la construction graphique de la connaissance est une personne relativement parfaite, l'emplacement, l'organisation, les films, la télévision, des livres et d'autres domaines, tels que l'acteur du film, les auteurs du livre, les cadres, les gens lieu de naissance, la quantité de commande corpus Encyclopédie, rapport de sortie est désigné par n un mode de réalisation de la relation 15, le nombre total de l'exemple de l'ordre de dix millions, la valeur de sortie notée sans rapport (valeur de rapport NA) plus de 1 million.

Application et essayer d'analyser le problème

APCNNs modèle est construit sur la carte des connaissances données auxiliaires est encore au stade d'essai. En termes de puissance de calcul, système modèle APCNNs par rapport avantage scaphandrier, il pourrait également être calculé pour les relations multiples sur un grand corpus à grande échelle, et le processus de mise à jour itérative sans vérification de l'interaction humaine. Mais dans le processus d'atterrissage d'affaires, nous avons également rencontré quelques problèmes, se résument comme suit:

• expérience à grande échelle prend trop de temps, et d'ajuster les paramètres de chaque itération de la stratégie de l'algorithme plus difficile

• corpus de test scolaire actuel de GM est en anglais New York Times ensemble de données, lorsque le même modèle est appliqué au corpus chinois, il y a un taux normal quasi-disant des questions difficiles

• processus d'apprentissage profondeur d'intervention manuelle difficile. Supposons que nous voulons prédire (Yang Mi, Liu Kaiwei) mariage, mais la première génération de vecteur de mot a commencé par corpus à grande échelle, si (Yang Mi, Liu Kaiwei) relation coexistant entre le corpus dominant est pas un mariage, mais le drame TV le partenariat (comme « le film raconte Yang Mi joué en été Atteindre les calculs amis souffert, son dilemme divorce petit ami, sauvé Playboy Qiaojin Fan Liu Kaiwei joué, mais il a été jeté dans le piège d'une histoire plus grande. »), relation basée sur la commune ou participer à certaines activités (telles que « Yang Mi et Hawick co-présidées un ambassadeur de charité Sina Xiamen aiment la bibliothèque »), la relation entre le vecteur obtenu dans l'attention étape aura tendance partenariat, ce qui se traduira par le paquet de calcul phrase que le poids de chaque phrase, l'expression relation conjugale est difficile d'obtenir des scores élevés, entraînant la déviation de l'étude de suivi.

• étude approfondie des résultats du modèle est difficile à examiner manuellement, en particulier pour l'entité ne semble pas sur le graphe de connaissance dynamique, la nécessité d'une mise en correspondance et l'extraction au milieu d'une matrice de processus à grande échelle, l'ensemble de la matrice de poids visualisé comme une note pour chaque phrase les ressources informatiques et la main-d'uvre ne sont pas une faible consommation.

Résumé et perspectives

Le résumé et la comparaison suivante des quatre aspects de ces deux méthodes basées scaphandrier et une méthode basée sur la profondeur de l'apprentissage ont leurs propres avantages et inconvénients:

1, et la plage de sélection du corpus

• Scaphandrier applicable aux plus petits, corpus plus spécialisés, tels que la relation entre les personnages historiques de l'exploitation minière, les règles peuvent être adaptées aux caractéristiques de la relation entre corps et l'extraction, comme un à un ou un mariage des relations, comme le corpus partiel de la langue chinoise classique habitudes.

• modèle APCNNs convient corpus à grande échelle, parce que la prémisse du fonctionnement normal du mécanisme d'attention est l'entité appris word2vec vecteur riche complète.

2, l'extraction de relation

• Scaphandrier applique uniquement à une seule relation de jugement, la classification d'une entité particulière en raison de l'établissement de relations entre les attentes. Pour des relations différentes, des règles différentes peuvent fonctionner, marqué par l'étiquetage fondé sur des règles peut mieux améliorer la précision de l'ensemble de la formation.

• modèle APCNNs pour problème multi-classification, la classification pour les points de collecte de relation de relation triées. Les opérateurs ne ont pas besoin de se prononcer pour la relation d'un ensemble particulier de relations.

3, les données à long tail

• Scaphandrier plus appropriée pour les données minières relation longue queue, aussi longtemps qu'il peut identifier les entités Ner, même si la fréquence d'apparition est faible, le jugement peut être caractérisée dans le contexte de l'entité.

• APCNNs besoin de modèle pour veiller à ce que le nombre d'entités qui apparaissent dans le corpus au-dessus d'un certain seuil, comme min_count > = 5, afin de veiller à ce que l'entité a word2vec représentation vectorielle. sac dans un certain nombre de phrase, sélectionner une grande similitude pour faciliter la formation des

4, et génère un résultat de détection

• détermination erronée scaphandrier d'une sortie positive que pour une seule phrase, la même entité peut donner des résultats différents prédit se produisent dans des phrases différentes. Test nécessite une combinaison de la peine initiale pour déterminer si les résultats avec précision, les avantages sont la peine initiale de base, afin de faciliter la vérification manuelle.

• APCNNs modèle pour une entité particulière pour rendre le jugement, la même sortie pour une entité donnée, système. Résultats pour la détermination exactitude de nouvelles données, nécessite une combinaison d'un résultat intermédiaire du paquet ensemble de phrases sélectionnées sont extraites et validées, l'augmentation de l'inspection du travail des difficultés.

Dans les travaux futurs, en fonction de scaphandrier pour la façon dont nous explorons tout en élargissant le nombre de relations, compte tenu des processus d'algorithme amélioré, les pratiques commerciales de la plate-forme dans la précipitation, ainsi que des informations supplémentaires pour construire l'outil auxiliaire pour aider à soulager scaphandrier générer des résultats travaux d'inspection manuelle processus de cartographie des connaissances écrites, par exemple, pour le mariage de l'entité, nous pouvons obtenir le sexe du personnage, la date de naissance et d'autres informations de cartes, pour aider les relations positives erreur de jugement.

Pour la méthode basée sur la profondeur de l'apprentissage, nous allons investir plus de temps et d'efforts à essayer d'améliorer et de promouvoir l'atterrissage du modèle d'affaires des aspects suivants:

• Il aurait été appliqué scaphandrier avéré efficace pour certaines méthodes améliorées d'apprentissage en profondeur de l'algorithme, telles que le filtrage basé sur des mots clés liés aux relations, réduire la taille des données, améliorer l'efficacité opérationnelle.

• Le résultat du calcul intermédiaire de la visualisation, l'analyse de la corrélation de la relation attention de vecteur au cours de la phrase choisie, tente d'établir un mécanisme pour sélectionner les résultats du jugement de la qualité, avec une tentative plus vaste pour obtenir des informations plus précises sur la relation entre le vecteur.

• Considérez comment sortir d'un ensemble de relation prédéterminée, l'extraction de la relation pour les zones ouvertes, découvrir automatiquement de nouvelles relations et connaissances.

• En plus d'explorer la relation entre les données textuelles extraites sous d'autres formes, telles que les tables, audio, images et autres.

références

. Linyan Kai, Liu Zhi, l'extraction de relation basé sur une étude approfondie

. Daojian Zeng, Liu Kang, Chen Yubo, et Zhao. 2015. Supervision Distant pour des relations d'extraction via juin par morceaux convolutifs Neural Networks.. En EMNLP 1753-1762.

. Guoliang Ji, Liu Kang, Shizhu He, Jun Zhao. 2017. Distant Supervision pour l'extraction Relation avec la peine de niveau Description de l'attention et l'entité. Compte rendu de la trente et unième Conférence AAAI sur l'intelligence artificielle

. Siliang Tang, Zhang Jinjian, Ning Zhang, Fei Wu, Jun Xiao, Yueting Zhuang 2017. :. contraintes extérieures ENCORE Neural régularisées Supervision Distant pour Relation Extraction SIGIR'17.

Zeng, D,.. Liu, K;. Chen, Y;. Et Zhao, J. 2015. supervision loin pour l'extraction de relation via les réseaux de neurones par morceaux de convolution EMNLP..

Riedel, S,.. Yao, L;. et McCallum, A. 2010. relations de modélisation et leurs mentions sans texte intitulé Dans l'apprentissage machine et découverte des connaissances dans les bases de données Springer 148-163....

Ce Zhang 2015. scaphandrier: ... Un système de gestion des données pour thèse de doctorat Base de connaissances Construction automatique.

Hoffmann, R;.. Zhang, C;. Ling, X;. Zettlemoyer, L;. Et Weld, DS 2011. supervision faible de la connaissance pour l'extraction de l'information de relations qui se chevauchent dans Proceedings of the 49e réunion annuelle de. l'Association de linguistique informatique: technologies du langage humain-Volume 1, 541-550 Association for Computational Linguistics ..

Surdeanu, M;.. Tibshirani, J;. Nallapati, R;. Et Manning, CD 2012. multi-instance apprentissage multi-label pour l'extraction de relation Dans Actes de la Conférence conjointe 2012 sur les méthodes empiriques dans le traitement du langage naturel. et informatique d'apprentissage du langage naturel, 455-465. Association de linguistique informatique.

. Shingo Takamatsu, Issei Sato et Hiroshi Nakagawa. 2012. La réduction des étiquettes erronées en matière de surveillance Distant pour Relation Extraction. Actes de la 50e assemblée annuelle de l'Association pour la linguistique informatique, pages 721-729

Zeng, D,.. Liu, K;. Lai, S;. Zhou, G;. Zhao, J;... Et al classification de Relation via 2014. réseau neuronal convolutif de profondeur dans COLING, 2335-2344.

. Ce zhang, Cheistopher Re ;. Et al 2017. Communications de l'ACM CACM Page d'accueil archives

Volume 60 N ° 5, pages 93-102

Mintz, M,.. Bills, S;. Neige, R,.. Et Jurafsky, D. 2009. supervision Distant pour l'extraction de données sans relation marquées dans Actes de la Conférence conjointe de la 47e réunion annuelle de l'ACL et la 4ème Conférence internationale conjointe sur le traitement du langage naturel du AFNLP :. Volume 2, 1003-1011 Association de linguistique informatique.

. Http://deepdive.stanford.edu/