Ji-won nouvelle compilation

Source: DeepMind

Compile: Marvin

[New Ji-won EXAMEN Les dernières recherches, a récemment publié proposé "théorie de la machine d'esprit" DeepMind (Machine Theory of Mind), "théorie de l'esprit" Inspiré par des chercheurs en psychologie construit un réseau de neurones TomNet une théorie de l'esprit, et à travers une série d'expériences pour prouver qu'il a la capacité mentale. Ceci est le développement de systèmes d'IA multi-agents, la construction de machines - une étape importante dans les intermédiaires technologiques interaction par ordinateur humain, ainsi que de promouvoir le développement de l'interprétation AI.

Théorie de l'esprit (ToM, Premack & Woodruff, 1978) fait référence à la capacité humaine à comprendre l'état d'esprit de leur propre et d'autres, ces états psychologiques comprennent des désirs, des croyances, intentions et autres. les chercheurs ont tenté de former DeepMind une machine à construire un tel modèle. Ils ont conçu une théorie des réseaux de neurones de l'esprit (théorie de l'esprit du réseau de neurones) - TomNet, le réseau utilise méta-apprentissage pour construire un agent modèle (agent) rencontré en observant son comportement. Grâce à ce processus, TomNet acquis une solide modèle a priori du comportement de l'agent, et l'utilisation de seulement un petit nombre sera en mesure de procéder à une observation plus approfondie et les caractéristiques psychologiques prédisent le corps du renseignement de l'État. Les chercheurs ont un agent TomNet appliqué à un simple environnement de réseau, qu'il peut apprendre un algorithme pseudo-aléatoire et la profondeur de différents groupes d'agents d'apprentissage de renforcement, et il a passé le test des tâches classiques de ToM, comme « test Sally-Anne » (Wimmer et Perner, 1983, Baron-Cohen et al, 1985). Les chercheurs pensent que ce système - agent indépendant pour apprendre comment simuler ses autres agents dans le monde - est le développement de systèmes d'IA multi-agents, la construction d'intermédiaires technologiques de l'interaction homme-ordinateur, ainsi que de promouvoir les progrès de la grippe aviaire pourrait expliquer une étape importante.

Inspiré par la théorie de la « théorie de la machine d'esprit » esprit humain

À l'heure actuelle, la profondeur de l'apprentissage et des progrès accomplis dans la profondeur de l'apprentissage de renforcement, bien que passionnant, mais certaines personnes craignent que notre compréhension de ces systèmes sont insuffisants. Les réseaux de neurones sont généralement décrits comme boîte noire opaque, inexpliquée. Même si nous avons le poids de sa description complète, il est difficile de savoir qu'ils utilisent le modèle, et où ils peuvent se tromper. Avec l'IA de plus en plus dans le monde humain, la compréhension de leurs besoins est également en croissance.

L'arrêt Let et demander: Pour un agent, la « compréhension » un autre agent ce que cela signifie? En tant qu'êtres humains, nous sommes face à ce défi chaque jour, parce que nous sommes toutes les communications humaines autres caractéristiques potentielles, de l'état et le processus de calcul potentiel est presque totalement inaccessible jour. Mais nous « comprendre » l'autre est tout à fait remarquable. Nous pouvons prédire le comportement futur des étrangers, et en déduire leur connaissance du monde, nous pouvons planifier à interagir avec les autres, et d'établir une communication efficace.

Il y a un autre agent « compréhension » Une caractéristique importante est que la structure sous-jacente de leur véritable presque aucun agent de référence. Nous, les humains ne tentons généralement pas d'estimer l'activité neuronale des autres, ils déduisent comment le cortex préfrontal est connecté, ou d'un plan d'aller à interagir avec d'autres carte de l'hippocampe humain. Un point de vue important de la psychologie cognitive est que notre raisonnement social dépend du modèle de haut niveau d'autres personnes (Gopnik & Wellman, 1992), qui ne comportait pas de modèles abstractions détaillés mécanismes physiques sur la base de la description du comportement observé, au contraire, nous compris que l'état mental des autres, comme leurs désirs, les croyances et les intentions. Cette capacité est souvent décrite comme la théorie mentale (théorie de l'esprit).

Dans cet article, nous nous inspirons de la théorie de l'esprit des gens pour tenter de construire un autre système de modélisation de l'agent d'apprentissage. Nous allons décrire comme "Théorie machine de l'esprit" (Machine Theory of Mind) . Notre objectif est de ne pas générer le comportement de l'agent modèle proposé et inverser son algorithme. Au lieu de cela, nous nous concentrons sur la façon dont l'utilisation d'auto-apprentissage observateur des données limitées pour d'autres agents de modélisation. Cela nous permet de travailler avec différentes études antérieures, des études antérieures reposent sur le modèle du corps de l'intelligence artificielle, par exemple en utilisant un RL inverse, l'inférence bayésienne, théorie bayésienne de la théorie de l'esprit ou jeu. Au lieu de cela, nous apprenons modèle d'agent, et comment ils raisonnent à partir de zéro par méta-apprentissage.

Construire une riche machine flexible et performance élevée pour la théorie de l'esprit AI est un énorme défi. Un point principal de cet article est que la majorité des premiers défis de la construction ToM pourrait être considérée comme un simple problème d'apprentissage, parce qu'ils sont représentés par la formule. Notre travail ici est de pratiquer le calcul de ces formules simples.

Ce travail a de nombreuses applications potentielles. Il est le modèle d'apprentissage riche permettra d'améliorer de nombreuses tâches de (prise de décision) de prise de décision complexe multi-agents, en particulier dans le cas de la planification axée sur les besoins et le modèle d'imagination. Ces modèles sont également importants pour les ajustements de valeur et une coopération souple, et est susceptible d'être une partie de l'avenir de la machine de prise de décision morale. Ils sont également très importants pour la communication et l'éducation, peuvent jouer un rôle clé dans l'interaction homme-ordinateur. Cette capacité à générer des conditions de recherche peuvent également révéler l'origine des capacités humaines. Enfin, ces modèles peuvent devenir un moyen important pour la compréhension humaine de l'intelligence artificielle.

Enfin, notre motivation est de faire une forte intelligence artificielle peut être expliquée comme des êtres humains. Nous sommes ici pour essayer une nouvelle approche: en essayant de construire le système intermédiaire afin de réduire la dimension du comportement de l'espace, et les montrer sous une forme plus compréhensible, plutôt que l'agent modificateur de telle sorte que la structure interne de l'Etat est exposé à des formes de interprétable humaine. Dans cette perspective, la poursuite de la machine ToM est d'établir l'absence d'interface entre machines et humaine attendue (interface manquante).

Méthodes: Expérimentale tâche méta-apprentissage

Nous considérons le bâtiment comme une théorie de l'esprit méta-apprentissage Problème. Lors des essais, nous espérons être en mesure de répondre à un nouvel agent que nous avons jamais vu auparavant, et ils ont une connaissance préalable forte et riche sur leur comportement. De plus, quand on voit l'agent au moment de son action dans le monde, nous espérons être en mesure de recueillir des données sur ses caractéristiques potentielles et l'état mental (après la formation d'postérieure), ce qui nous permettra d'améliorer les prévisions de leur comportement futur.

À cette fin, nous avons développé une tâche de méta-apprentissage. Nous avons construit un observateur (Observateur), il peut voir un nouvel ensemble de comportements à chaque agent de traces d'épisode. L'objectif de l'observateur est de prédire l'agent de comportement futur. Pendant la formation, l'observateur doit former rapidement une prédiction sur le nouvel agent à partir des données limitées. Ce nouvel agent sur « l'apprentissage » est ce que nous appelons méta-apprentissage. Grâce à ce processus, l'observateur doit aussi apprendre agent efficace le comportement avant, la connaissance capture implicitement les points communs entre l'agent de la population de formation.

Nous présentons deux concepts pour décrire les composants du réseau d'observateurs et leurs rôles fonctionnels. On distingue entre la théorie générale de l'esprit - poids du réseau d'apprentissage, qui comprend des prévisions sur l'ensemble de la formation comportement commun de tous les agents, et spécifique de l'agent à la théorie de l'esprit - en observant la formation de « plongement agent » dans le test, il contient ce qui rend les fonctionnalités de l'agent et différent de l'état mental d'un autre agent. Ceux-ci correspondent au comportement de l'agent et postérieur avant.

La structure de cet article est une série d'expériences qui augmentent progressivement la complexité de la « théorie de la machine d'esprit, » le réseau (TomNet). Ces expériences montrent des idées TomNet, ainsi que sa capacité à apprendre d'autres agents modèles riches, ces modèles combine les caractéristiques des caractéristiques de la théorie de l'esprit humain, comme la compréhension de la fausse croyance.

Contribution: TomNet apprendre à prédire et expliquer les croyances

Dans cette étude, les contributions sont les suivantes:

• En 3.1, nous montrons pour le simple agent de hasard, TomNet appris à se rapprocher des propriétés d'agent à base bayésienne du niveau optimal d'inférence.

• En 3.2, nous montrons TomNet appris à déduire la cible des agents algorithmiques des (quelques-contrechamp la mise en uvre efficace de l'apprentissage de renforcement), et comment ils équilibrer les coûts et les rendements.

• Dans la section 3.3, nous montrons un agent d'apprentissage de renforcement profond pour caractériser les différents types de TomNet apprendre à capturer un facteur clé dans la variation globale de la population, et la formation de l'intelligence abstraite intégrée dans ces corps. Nous montrons également que, TomNet peut découvrir de nouveaux espace abstrait comportement.

• En 3.4, nous montrons que lorsque TomNet sont formés à l'agent de profondeur POMDP d'action RL, il connaît implicitement l'agent peut détenir de fausses croyances sur le monde. Ceci est la composante de base de la théorie de l'esprit humain.

• En 3.5, nous prouvons TomNet peut être formé pour prédire l'état des croyances de l'agent, et révèle clairement les fausses croyances de l'agent. Nous montrons également que, TomNet leur comportement peut être déduit que d'une teneur en agent différent peut être vu, et ils ont tendance à croire en fonction de ce contenu.

Figure 1. Architecture TomNet

Figure 2. Agent aléatoire agit d'exemples grille-monde

Figure 3. Formation sur TomNet Agent aléatoire

Figure 13. supervision ont la prévision de la foi

Pour plus de détails, reportez-vous à la thèse originale: https: //arxiv.org/pdf/1802.07740.pdf

[] Joignez-vous à la communauté

Ji-won nouvelles technologies AI + industrie du recrutement communautaire, a accueilli les étudiants + industrie de la technologie AI a atterri intérêt, plus Little Helper Micro Signal: aiera2015_1 dans le groupe, si elle est approuvée seront invités dans le groupe, assurez-vous de modifier le groupe après avoir rejoint la communauté remarques (nom - société - emploi, groupe professionnel d'examen plus rigoureux, s'il vous plaît comprendre).

De plus, la nouvelle technologie AI + Yuan Zhi industries Communautés (auto intelligent, l'apprentissage machine, apprentissage en profondeur, les réseaux de neurones, etc.) sont pour les ingénieurs et les chercheurs sont engagés dans des domaines connexes de recrutement.

Ji-won a ajouté une nouvelle plate-forme ouverte de la communauté technique pour partager AI +