Note de réseau Lei Feng: Cet article de l'auteur original est un groupe d'étude approfondie curieux, publié dans le numéro du public « curiosité profonde AI » (deeplycurious). Lei Feng réseau a été réimprimé avec la permission.

Sujet: Généraliser Connaissance symbolique Neural moteur de règles

:( Please adresses papier de timbre ici)

La tâche en cours de traitement du langage naturel, le modèle de réseau de neurones dans la communauté universitaire occupent un avantage absolu, cependant, symbole du système connaissances fondé sur des règles viennent toujours à portée de main dans l'industrie. Le langage humain est un phénomène très complexe, la langue afin de mieux construire des systèmes intelligents, les réseaux de neurones et les connaissances symboliques peuvent utiliser l'intégration, les avantages de l'intégration des deux.

Les deux dernières années, nerf apprentissage symbolique (Neural d'apprentissage symbolique) est devenu une direction très populaire, beaucoup d'excellents travaux de recherche le symbole de la connaissance a introduit le modèle de réseau de neurones, une capacité accrue d'apprentissage et des modèles explicatifs, dans certaines tâches de la PNL classique sur les deux bons résultats obtenus. Contrairement à cette façon d'intégration, récemment, la profondeur des chercheurs curieux a proposé une nouvelle stratégie de fusion - l'effet de l'utilisation du modèle NN pour améliorer les règles. modèle NN est l'avantage de la flexibilité élevée, la capacité de généralisation forte, robustesse, si ces avantages modèle NN donné système de règles, produira ce genre d'étincelle il?

Cet article décrit un moteur de règles de nerf (Neural moteur de règles, NRE), NRE peut apprendre de la règle de la connaissance, mais aussi de généraliser les connaissances à travers le réseau de neurones, qui est la façon dont les humains apprennent le même but.

Plus précisément, le module de NRE composé réseau neuronal (réseaux de neurones Module), dont chacune représente une règle de fonctionnement du module, réalisé sous la forme d'un module du réseau de neurones peut être, peut être un algorithme symbolique. Et, étant donné une petite quantité d'échantillons étiquetés, l'apprentissage de renforcement peut être utilisé pour l'apprentissage affiner (Finetune). Les expériences montrent que, NRE peut améliorer considérablement les règles de rappel (Recall), alors que le taux de précision (précision) maintenue à un niveau élevé.

Par exemple, les règles spécifiques pour déterminer un type de tâches de classification cas, le cas comme suit:

« En 2003 à 12h00 le 21 Décembre, avec le nom de famille Wang, Zhang Pu Dong Village West County deux à jouer, suivie par trois hommes avec une contrainte de couteau, arraché un téléphone mobile. »

Selon l'expérience, s'il y a des cas d'expression « avec le dos * |. Suivi », sont généralement « de fuite commis le crime », mais il y avait « la victime * suivi. » Dans le cas contraire. Ainsi, pour la catégorie « fuite avoir commis le crime », vous pouvez écrire une règle:

« Suivie derrière * |. * Victime de suivi à suivre. »

Le « @@ » Blue est laissé règles positives , C'est le contenu de la phrase doit correspondre, « @@ » à droite des rouges sont règles négatives , C'est, la phrase ne peut pas contenir.

Puisque l'expression régulière est une machine à états finis, certaines actions peuvent être (action) l'analyse syntaxique des règles d'expressions régulières, telles que:

En utilisant des opérations de règles prédéfinies sont représentées, comme indiqué ci-dessous:

Chaque règle peut être décomposé en structures d'arbres, le démantèlement du processus dépend de la règle Parser . En raison de la conception du système entier en compte à la fois symbolique et prend en compte les caractéristiques des réseaux de neurones, de sorte que le démantèlement des règles peut être un algorithme symbolique pour atteindre peut également être utilisé pour Neural la règle Parser à atteindre. Étant donné que la structure de l'arbre peut être converti en une forme en notation polonaise inversée (Reversed notation polonaise) de (ci-dessous):

Vous pouvez donc utiliser un Seq2Seq modèle de réseau de neurones pour obtenir le démantèlement des règles. Comme suit:

Compte tenu d'une règle, compte tenu du module de prédiction et le module alors qu'il est difficile de paramètres souhaités, il est possible de prendre une manière progressive prévue. séquence prédite des opérations de première étape, la deuxième étape pour les paramètres de prédiction correspondant à chaque opération a été prédite en fonction des règles et des opérations. Afin de rendre les résultats plus fiables de prévision dans la phase de formation, nous ajoutons le processus de réglage de fin (Finetune) pour la séquence de fonctionnement prévue pour être ajustée avec le modèle d'apprentissage de renforcement basé sur la performance sur un cas réel de.

Après l'obtention du résultat de l'analyse règle générale, le module peut être assemblé. Ici, Trouver le module And_Ordered et la conception du module à l'aide des réseaux de neurones.

trouver module

La Recherche (x) bloc est utilisé pour trouver le contenu correspondant partie de phrase de x, correspondance d'expression régulière peut être obtenue, peut être mis en uvre au moyen d'un réseau de neurones. Trouver les modules de réseau de neurones sont les suivants:

Pour chaque phrase est, trouver (x) l'opération se trouve dans la phrase x, x peut être un mot ou un mot N-gramme. Que ce soit mis en uvre en utilisant les réseaux de neurones ou d'un match d'utilisation (x) expression régulière est obtenue, la tâche peut être considérée comme une séquence de phrases faire des annotations, ce qui est la phrase dans chaque unité sont marquées étiquette « matches ». Plus précisément, pour chaque unité de phrase, le contexte dans lequel il acquiert la première fenêtre coulissante, et de faire des contextes et x sont venus trouver le degré de similitude par le même pour le codeur (codeur), suivi d'une fonction d'évaluation le ballon, et enfin à déterminer la position actuelle de l'étiquette tous les scores en fonction de chaque position.

And_Ordered module

Module And_Ordered peut prendre la conception suivante:

opération And_Ordered permet de juger si pour satisfaire la relation d'une certaine distance entre les deux entrées. D'une manière générale, l'entrée du drapeau de résultat est donné nud enfant, comme r0 et r1. Pour le rendre plus facile pour le réseau de neurones pour déterminer la distance entre l'entrée, nous pouvons introduire la marque à distance D0 et d1. Reliure phrase originale, le module d'entrée And_Ordered peut déterminer si les deux nuds enfants de la relation à distance satisfait.

modèle de formation

Pendant la formation, les modules et Neural Règle Parser ont pris fin air préformation + la stratégie. Lorsque la formation, le premier ensemble de données de formation et des règles / vérification jeu jeu / test de partition, afin d'éviter les fuites de données, ne peuvent pas être mélangés entre les parties. Module de formation lorsque les premiers échantillons d'apprentissage générées aléatoirement chaque module en fonction des données, dans la formation dans une certaine mesure, l'ensemble de formation de règles applicable pour jeu réel de formation de données, le module est affiné avec des données réelles de variables par l'intermédiaire de l'apprentissage par renforcement . En outre, selon le mode de formation plus tôt pour Neural la règle Parser suivre une stratégie similaire.

Neural moteur de règles (NRE)

collection NRE des composants ci-dessus: NN / algorithme module implémenté, NN / Règle algorithme Parser mis en oeuvre. NRE structure générale, comme indiqué ci-dessous:

Pour un cas donné, et en règle générale, les règles de la première NRE démontées dans une structure arborescente constituée de modules, puis en fonction de la structure arborescente des règles appliquées à l'état particulier, pour donner le résultat de mise en correspondance.

expérience

Document a mené des expériences sur des tâches de classification chinoise sur le fond (la classification des cas de criminalité chinoise) et tâche de classification de relation SemEval-2010. Les résultats sont les suivants:

NRE résultats sur les ensembles de données de classification des cas chinois

NRE résultats sur la relation entre la classification de l'ensemble de données

Les résultats ci-dessus montrent, RE haute précision, mais rappel relativement faible. Le deuxième groupe est le modèle de la série de base dans le sens traditionnel du terme, et ne peut pas gérer des expressions régulières, en particulier, en plus de l'expression régulière correspondant à l'échelon local doivent également tenir compte de la relation globale du match, le modèle de la série traditionnelle est difficile de faire face à ces situations . NRE est en mesure d'apporter Recall effet près du double, tandis que la précision est restée à un niveau élevé. Nécessité de se concentrer sur le peaufinage (Finetune) pour NRE est cruciale, parce que dans la phase de pré-formation NRE est simplement la formation dans chaque module et réglage fin est d'ajuster les règles dans une véritable clé de la scène.

En même temps, en raison de la NRE peut tirer parti des avantages des deux réseaux de neurones et symboliques, afin d'explorer les règles généralisées où, nous avons également effectué des expériences supplémentaires. Nous avons utilisé l'algorithme de réseau neuronal et les différentes parties du symbole, obtenant ainsi un modèle mixte (voir tableau ci-dessous). Avec l'implication des réseaux de neurones, NRE Recall performance globale sera meilleure, et de précision est tombé dans une fourchette raisonnable. En fait, cela est dû à la flexibilité des réseaux de neurones apporté des bénéfices pour compenser les règles d'appariement raide.

Différentes combinaisons de réseaux de neurones et de l'algorithme symbolique, dans lequel « _ » gauche est mis en oeuvre réseau de neurones, le droit est l'algorithme, « P » est « Find_Positive », « N » est « Find_Negative », « A » est « And_Ordered », " S « est la » règle Parser ».

D'autre part, le modèle donne les résultats de l'étude sont disponibles, le module Recherche généralisation énorme. Le style traditionnel est la correspondance d'expression régulière, et NRE dans une certaine mesure correspondance sémantique. Comme les deux chiffres suivants dans le cas anglais, la découverte « poussé dans » peut trouver raisonnablement « mettre à l'intérieur », et que « dans la salle » est plus révélateur sur « cambriolage » pour correspondre à l'aspect global des mots contenus dans le RNE dépassera le style lui-même .

En même temps, les règles Règle Neural Parser pour le démantèlement de la règle elle-même est correcte. Par exemple, dans la figure ci-dessous, « tuyau de descente » et « tuyaux en acier » sont combinés en un « tube » et « trou jouant dans le mur » dans le « trou » est omis.

résumé

Nous vous proposons une nouvelle stratégies d'apprentissage pour améliorer les règles de signalisation, moteur de règles de neurones (Neural Règle Engine) permet une certaine flexibilité dans les règles pour obtenir un réseau de neurones pour apporter, la capacité de robustesse et de généralisation, tout en maintenant la règle de l'exactitude et l'intelligibilité.

NRE contient une série d'opérations et le module Règle Parser, ils peuvent soit être personnalisé des réseaux de neurones, mais aussi des algorithmes symboliques. Pour une règle donnée, la première règle pour le démontage de la NRE, ce qui rend la séquence des opérations, après que le module est assemblé en fonction de la séquence de fonctionnement, reçoit le résultat de prédiction finale. De plus, nous avons également proposé une étape de la méthode de formation permet de construire NRE, à savoir les données générées au hasard est des modules pré-formation et de la règle Parser, après avoir appris basé sur un échantillon réel peaufinage marqué par le renforcement, obtenir ainsi une généralisation de la règle de représentation.

Les expériences montrent que NRE peut améliorer de manière significative la règle de rappel, tout en conservant une grande précision. NRE est non seulement un symbole d'un nouveau paradigme de l'apprentissage des nerfs, elle apporte aussi une amélioration efficace aux applications industrielles existantes, il peut être utilisé pour mettre à niveau le système actuel de règles ou dans les données de formation est faible le cas du développement rapide du système nerveux des règles.