Ji-won nouvelle compilation

Ji-won ouvert un nouveau numéro public micro-canal, répondre directement à [] ou [NMN neurones module réseau] 3 articles concernés

Supposons que nous voulons être une famille de robot, nous espérons qu'il peut répondre à des questions sur l'environnement. Nous pourrions lui poser cette question:

A gauche: Qu'est-ce? A droite: la figure avec le cylindre bleu de la même taille de l'objet est de quelle couleur?

Comment pouvons-nous faire en sorte que le robot peut répondre à ces questions bonne chose à faire? étude approfondie de la méthode standard est de rassembler un grand nombre de questions, des réponses et des ensembles de données d'image, puis former un réseau de neurones pour cartographier directement le problème et la réponse. Si le problème est similaire à la gauche du problème, nous devons résoudre le problème est une reconnaissance d'image familière, cette approche monolithique est très efficace:

Répondez à la question: Qu'est-ce?

Mais le genre de question, il est pas si simple:

Réponse: cylindre bleu avec la même taille de l'objet est de quelle couleur?

Ici, nous formons le réseau a abandonné le traitement, avec la figure jusqu'à la couleur (bleu) comme une estimation. Pourquoi est-ce beaucoup de problème difficile? Même si notre image est plus claire et concise, cette question doit encore plusieurs étapes raisonnement : Il est pas un problème simple d'identifier l'objet principal dans l'image, le modèle doit d'abord trouver le cylindre bleu, puis trouver un autre objet, il dit la même taille, puis déterminer la couleur de l'objet. Ce calcul est complexe, mais aussi un calcul spécifique pour un problème spécifique est la question. Différents problèmes nécessitent des mesures pour résoudre.

L'étude dominante en profondeur de paradigme est « taille unique » approche: nous voulons résoudre tout problème, nous allons écrire un modèle d'architecture fixe, en espérant qu'il capturerait tout au sujet de la relation entre l'entrée et la sortie, et des Notes les données de formation pour ce modèle d'apprentissage des paramètres fixe.

Mais dans le raisonnement du monde réel ne fonctionne pas de cette façon: il implique une variété de capacités différentes, mélangeant chaque nouveau défi auquel nous sommes confrontés dans le monde extérieur. Nous avons besoin d'un modèle dynamique de la façon de déterminer les questions soulevées devant le raisonnement - un réseau peut choisir leur propre structure en fonctionnement. Dans cet article, nous allons discuter d'une classe est appelée modules de réseau de neurones (réseaux de neurones du module, NMNs) Le modèle, qui peut être combinée avec cette approche plus souple à la solution tout en maintenant une forte formation de la profondeur d'utilité.

A été mentionné précédemment, trois étapes différentes impliquées pour répondre à ces problèmes: trouver un cylindre bleu, et trouve la même taille que d'autres objets, la couleur de l'objet est déterminée. Ce processus peut être représenté par le schéma suivant:

Une fois que le problème est modifié, il pourrait conduire à une série de différentes étapes. Par exemple, si nous demandons « ? La figure et la taille de la boule du même objet combien », deviendront les étapes:

Les opérations de base, telles que « comparaison de taille », des problèmes différents sont partagés, mais l'utilisation de différentes manières. L'idée principale est de faire ce partage de NMN devient explicite: Nous utilisons deux structures de réseau différentes pour répondre à ce qui précède deux questions, mais les deux réseaux d'inclure une partie du droit à la même masse de base est partagée.

Alors, comment apprendre un tel modèle? En même temps, nous sommes en fait la formation d'un grand nombre de différents réseaux, et essayer de combiner leurs arguments au moment opportun, au lieu d'un grand nombre d'entrées / paire de sorties sur la formation d'un réseau unique.

Figure: une architecture d'étude approfondie récente, y compris DyNet et tensorflow Fold, sont calculés de la manière cette conception dynamique.

Après ce processus de formation, nous obtenons pas un seul réseau de profondeur, mais une collection « modules » de nerf (modules), chaque module implémente un raisonnement étape. Lorsque nous voulons utiliser les modèles ont été formés sur la nouvelle question, nous pouvons combiner dynamiquement ces modules, ce qui en fait une nouvelle architecture de réseau pour le problème.

Ce processus est intéressant de noter que nous ne avons pas besoin pour assurer la surveillance de bas niveau en un seul module: le modèle ne sera pas un exemple isolé des « objets bleus » ou relation « côté gauche » comme. Des modules d'apprentissage que dans la structure d'un portefeuille plus important, seule (question, réponse) jumelant la supervision. Cependant, le processus de formation peut corriger automatiquement la relation entre le raisonnement et les calculs dont il est responsable des composants de structure:

Problème: le même bleu et rouge sur le bloc-cylindres droite de morceaux métalliques de matériel il?

Le même processus est aussi la réponse à travailler sur une image plus réaliste, et même à d'autres bases de données et d'autres sources de connaissances aussi le travail:

Question: Qu'est-ce qui se cache derrière le pied du lit? Qu'est-ce que les plages de la Floride?

L'élément clé de ce procédé est tel que décrit ci-dessus Une collection de « plan de raisonnement » de . Ces plans peuvent nous dire comment la mise en page du réseau de chaque question devrait être, et comment ils se rapportent les uns aux autres problèmes différents. Mais ces plans viennent de lui?

Dans les travaux préliminaires sur ces modèles, nous avons trouvé une corrélation frappante entre problème de conception la résolution et la structure grammaticale analytique d'un problème particulier (spécifique à la question) du réseau de neurones. Linguistes ont longtemps trouvé, étroitement liée au calcul de l'ordre des étapes nécessaires à la grammaire des problèmes et des questions de réponse (séquence). Merci aux progrès récents dans le traitement du langage naturel, nous sommes en mesure d'utiliser les outils existants d'analyse de syntaxe pour fournir automatiquement des versions similaires de ces plans.

Cependant, la structure du langage cartographiée précisément au problème de la structure de réseau reste un processus de transition stimulant sujettes à l'erreur. Dans une étude ultérieure, nous ne comptons plus sur cette analyse linguistique, mais l'utilisation de données créées par un expert humain qui a réalisé un plan pour commenter le raisonnement idéalisé comme une série de questions directes. En apprenant à imiter l'approche humaine, nous pouvons améliorer considérablement la qualité des prédictions du modèle. Encore plus surprenant est que, lorsque nous avons utilisé un mode pour une simulation de formation d'experts humain et permet le modèle de prédire leurs propres modifications à ces experts, il est possible de trouver des experts meilleure solution que sur de nombreuses questions.

Bien que ces dernières années, la profondeur de l'apprentissage a beaucoup de succès notables, mais il y a encore de nombreux défis, tels que apprentissage quelques-shot et le raisonnement complexe . Mais ces problèmes précisément les techniques classiques plus structurées, telles que l'analyse sémantique (analyse sémantique) et le programme d'induction (induction du programme) place qui fonctionne vraiment. module de réseau de neurones (NMN) dans ces deux défis ont des avantages: une combinaison discrète de données de flexibilité et d'efficacité, la profondeur et la capacité de réseau. NMN a réussi à de nombreuses tâches raisonnement visuel et textuel, nous attendons avec impatience de l'appliquer à d'autres problèmes AI.

Cet article est basé sur des documents (Ji-won ouvert un nouveau numéro public micro-canal, répondre directement NMN [] ou [] Télécharger le papier module de réseau de neurones):

• Réseaux Module neurales. Jacob Andreas, Marcus Rohrbach, Trevor Darrell et Dan Klein. CVPR 2016. (arXiv)

• Apprendre à Compose Neural Networks pour Question Réponse. Jacob Andreas, Marcus Rohrbach, Trevor Darrell et Dan Klein. NAACL 2016. (arXiv)

• Les relations de modélisation dans référentielle expressions avec des réseaux modulaires de composition. Ronghang Hu, Marcus Rohrbach, Jacob Andreas, Trevor Darrell et Kate Saenko. CVPR 2017. (arXiv)

Auteur: Jacob Andreas

Collaboration écrivain: Ronghang Hu, Marcus Rohrbach, Trevor Darrell, Dan Klein & Kate Saenko