[Guide Xinzhiyuan] Il y a quelques jours, les lauréats du prix Turing et trois géants de l'apprentissage profond Geoffrey Hinton, Yann LeCun et Yoshua Bengio se sont réunis à l'AAAI pour partager leurs derniers résultats de recherche. Les trois conviennent que l'apprentissage en profondeur peut surmonter des obstacles tels que des exemples contradictoires et peut même gagner du bon sens. Cliquez sur le lien à droite pour en savoir plus!
En tant que premier sommet du monde universitaire de l'intelligence artificielle en 2020, AAAI 2020 se tient à New York, États-Unis. Les meilleurs articles et autres prix majeurs ont été annoncés. Pour plus de détails, voir: Les meilleurs articles de l'AAAI 2020 annoncés, 800 personnes absentes! La pétition de participation à distance soutenue par Bengio est en feu.
L'un des points forts de l'AAAI 2020 est que l'organisateur a spécialement invité les lauréats du prix Turing et les géants de l'apprentissage profond Geoffrey Hinton, Yann LeCun et Yoshua Bengio à partager leurs derniers résultats de recherche. Les trois conviennent que l'apprentissage en profondeur peut surmonter des obstacles tels que des exemples contradictoires et peut même gagner du bon sens.
Xinzhiyuan a compilé les discours et les discussions des «Trois Grands», et les partage avec vous ci-dessous.
Geoffrey Hinton: auto-encodeur à capsule empilée
Premièrement, Geoffrey Hinton est monté sur scène et a prononcé un discours intitulé "Stacked Capsule Autoencoders", qui était également le sujet de son article l'année dernière.
Adresse papier: https://arxiv.org/abs/1906.06818
Hinton a d'abord présenté les avantages et les inconvénients des deux méthodes d'identification des objets:
- Les modèles traditionnels utilisent des représentations modulaires (comme celles utilisées dans l'infographie), mais ils impliquent généralement de nombreuses opérations manuelles, ce qui rend les structures de niveau profond difficiles à mettre en uvre.
- Les réseaux de neurones convolutifs utilisent l'apprentissage de bout en bout et, en utilisant les mêmes connaissances dans toutes les positions d'image, ils remportent une énorme victoire. Mais ils diffèrent de la perception humaine à bien des égards.
Dans les mots de Hinton, CNN est " ordures «Il y a de nombreux problèmes, comme faire face aux changements de perspective, analyser des images, des exemples contradictoires, etc.
Après s'être plaint de CNN, Hinton a commencé à présenter le point culminant: Capsules 2019: Auto-encodeurs de capsules empilées.
Dans cette étude, Hinton et al.ont proposé une version non supervisée du réseau de capsules, qui peut déduire la position et la posture de la capsule objet grâce à un codeur neuronal qui peut visualiser tous les composants.
Le codeur effectue un apprentissage de rétro-propagation à travers le décodeur et utilise un schéma de prédiction de pose hybride pour prédire la pose du composant découvert. En utilisant également des codeurs neuronaux, en déduisant des parties et leurs transformations affines, des parties spécifiques peuvent être trouvées directement à partir de l'image.
En d'autres termes, chaque modélisation de pixel d'image de décodeur correspondante est un résultat de prédiction mixte réalisé par la partie de transformation affine. Ils ont appris des objets et certaines de leurs capsules à partir de données non étiquetées, puis ont regroupé les vecteurs d'existence des capsules d'objets.
En fin de compte, le résultat a obtenu le résultat de classification non supervisé le plus avancé (55%) sur SVHN, et en même temps obtenu presque le résultat de classification le plus avancé sur MNIST.
Yann LeCun: L'apprentissage auto-supervisé donne aux machines un "bon sens" et réalise une "vraie" intelligence artificielle
Puis Yann LeCun, directeur de lintelligence artificielle de Facebook et lauréat du prix Turing, est monté sur scène et a continué à promouvoir son concept dapprentissage auto-supervisé.
Ce lauréat du prix Turing, connu comme le père des nerfs convolutifs, a donné un espoir profond et une affirmation très solide pour l'apprentissage auto-supervisé.
il pense Puisque l'apprentissage auto-supervisé est plus proche des procédures d'apprentissage humain, il peut briser les limites de l'apprentissage profond existant.
L'apprentissage supervisé, largement utilisé actuellement, repose sur le marquage manuel, qui non seulement prend du temps et des efforts, mais ne peut pas non plus garantir pleinement l'exactitude du marquage manuel. De plus, la machine ne peut apprendre qu'en fonction des caractéristiques marquées.
L'apprentissage par renforcement se fait par le biais du mécanisme de récompense et de punition, permettant à la machine de faire des essais et des erreurs dans une situation virtuelle et d'accumuler de l'expérience pour apprendre. L'apprentissage par renforcement s'est avéré puissant dans les jeux de compétition, même bien supérieur aux humains, mais les performances de coût sont trop faibles.
Yann LeCun estime que l'apprentissage auto-supervisé est une solution efficace pour surmonter les problèmes ci-dessus. L'apprentissage auto-supervisé construit un énorme réseau de neurones pour comprendre le monde à travers des prédictions. Ceci est très similaire à notre processus d'apprentissage humain, prédisant constamment l'inconnu à travers la partie connue.
La prédiction est une arme puissante d'apprentissage auto-supervisé. Par exemple, il est prédit que la voiture peut heurter le barrage routier devant nous, et des actions évasives sont prises à l'avance, sans qu'il soit nécessaire de marquer manuellement qu'il s'agit d'un obstacle à éviter, et il n'est pas nécessaire de faire des essais et des erreurs pour accumuler de l'expérience.
Yann LeCun estime que les méthodes actuelles d'apprentissage en profondeur, bien que des progrès aient été accomplis dans la conduite autonome, la traduction linguistique et les chatbots, n'ont pas été en mesure de créer une «véritable» intelligence artificielle.
Ce qu'il appelle la «vraie» intelligence artificielle est un robot doté de bon sens, d'intelligence, d'agilité et de flexibilité. Il estime que des méthodes d'apprentissage auto-supervisées plus proches du comportement d'apprentissage humain seront la première étape pour atteindre cet ambitieux.
Yoshua Bengio: du «Système 1» au «Système 2»
Enfin, Yoshua Bengio, l'un des trois géants de l'apprentissage profond et lauréat du prix Turing, a prononcé un discours intitulé «Deep Mind in System 2 Processing» (Deep Mind in System 2 Processing) lors de la réunion. Bengio estime que le goulot d'étranglement de l'apprentissage en profondeur est apparu et a souligné la direction de la percée .
Bengio a d'abord introduit le dilemme du développement de l'apprentissage profond. Il a cité la théorie des systèmes cognitifs de Daniel Kahneman.
Kahneman estime que le système cognitif humain est principalement divisé en deux parties: «Système 1» et «Système 2». La pensée dirigée par «Système 1» est intuitive, subconsciente et non verbale, ce qui permet aux humains de faire des réponses rapides sans penser dans des situations familières; tandis que «Système 2» est une pensée consciente, centrée sur la logique, Planification, raisonnement et causalité, il permet aux êtres humains de porter des jugements et des décisions dans des situations complètement nouvelles.
Bengio a déclaré que l'apprentissage en profondeur actuel est similaire au mode de pensée du «Système 1». Si vous souhaitez passer à l'intelligence au niveau humain, vous devez développer un système cognitif similaire au «Système 2», qui, selon lui, sera la direction du développement futur. , C'est aussi le goulot d'étranglement rencontré dans le développement du deep learning.
Bengio a souligné, Afin de briser ce goulot d'étranglement, il peut être possible de s'inspirer de l'intelligence naturelle et de simuler le mode d'apprentissage des bébés humains.
À l'heure actuelle, le deep learning repose sur l'hypothèse d'une distribution indépendante et identique, mais la situation actuelle est que nous nous intéressons souvent aux données avec très peu d'occurrences. Par conséquent, Bengio estime que la généralisation hors distribution (généralisation hors distribution) manque actuellement d'apprentissage en profondeur, et c'est la clé pour passer au «système 2».
Dans le même temps, il a également proposé, L'amélioration de l'apprentissage en profondeur doit être considérée du point de vue de «l'agent» . L'interaction entre les individus affectera également le développement de l'apprentissage profond, de sorte que des mesures, notamment la construction de meilleurs modèles, doivent être prises.
Bengio a également mentionné que les deux clés du "Système 2" sont l'attention et la conscience. L'attention est une technologie importante dans le développement de l'apprentissage en profondeur ces dernières années, et il y a eu beaucoup de mises en uvre et de discussions. Et la conscience humaine est souvent a priori. Il a proposé que cela puisse être réalisé grâce à un graphique à facteurs clairsemés. Le graphe des facteurs clairsemés peut être utilisé pour apprendre la relation causale entre les variables, construisant ainsi la relation causale entre les variables.
Les trois grands ont ri et ont parlé d'années de recherche et personne ne s'en soucie
Après le discours, les "Big Three" de Hinton, LeCun et Bengio ont eu un dialogue et une discussion.
La réunion des Big Three dans le deep learning est un tournant triomphant pour le deep learning, sujet jadis abandonné et même éliminé par l'AAAI. C'est aussi un peu contradictoire, car ces trois discours semblent emprunter des termes qui sont généralement considérés comme l'antithèse de l'IA (c'est-à-dire des théoriciens de l'IA "symbolique"), qui a abandonné Bengio, Hinton et LeCun il y a quelques années. .
"Cependant, certains d'entre vous ont un peu de mépris pour le monde symbolique de l'intelligence artificielle", a remarqué l'animatrice et professeur au MIT Leslie Kaebling l'emprunt du terme. "Pouvons-nous être amis? Ou pas nous?", A-t-elle demandé, faisant éclater de rire le public.
Hinton s'est tenu à la table de conférence, ne s'est pas assis, et a simplement plaisanté: «Eh bien, nous avons une longue histoire, par exemple», a suscité davantage de rires.
" La dernière fois que j'ai soumis un article à l'AAAI, j'ai eu la pire évaluation que j'aie jamais reçue, et c'était très méchant! Dit Hinton.
"On dit que Hinton travaille sur cette idée depuis 7 ans. Personne n'est intéressé. Il est temps de passer à autre chose", se souvient Hinton. LeCun et Bengio ont ri. Ils ont également travaillé dans l'obscurité pendant des décennies jusqu'à la profondeur de 2012. Une percée dans l'apprentissage. "Il faut un certain temps pour oublier cela", a déclaré Hinton, même s'il vaudrait peut-être mieux oublier le passé et passer à autre chose, admet-il.
La question de Kaebling a frappé le point. Les discours des trois scientifiques laissaient tous entendre que leurs résultats avaient été attaqués par des sceptiques.
LeCun a déclaré qu'il était "toujours actif sur les réseaux sociaux et a remarqué que beaucoup de gens ne savent pas ce qu'est l'apprentissage profond". LeCun a fait allusion au critique d'apprentissage en profondeur Gary Marcus et à d'autres qui s'étaient déjà disputés avec lui sur Twitter, et leurs arguments étaient parfois tendus. LeCun a défini l'apprentissage profond avec une diapositive au début de son discours, répondant à un débat entre Marcus et Bengio en décembre.
Mais dans la plupart des cas cette nuit-là, les trois d'entre eux ont toujours montré de la sympathie. Lorsque le public a demandé ce quils ne pouvaient pas être daccord avec les points de vue de lautre, Bengio a plaisanté: «Cette astuce Leslie nous a déjà utilisées, elle est inutile.» Hinton a déclaré: «Je peux vous dire ce que je ne sais pas. Je suis d'accord avec eux. L'adresse e-mail de Bengio se termine par «Québec». Et je pense que le code du pays devrait être ajouté après «Québec», mais il ne l'a pas ajouté. "
Ils ont également profité de l'occasion pour casser les mots de l'autre. Hinton a déclaré au début de son discours qu'il visait LeCun. LeCun a réalisé le réseau neuronal convolutif il y a 30 ans et en a fait une technologie pratique. Hinton a déclaré qu'il voulait prouver pourquoi le réseau neuronal convolutif est complètement "indésirable" et devrait être remplacé par son propre réseau de capsules. Hinton s'est également moqué d'avoir lancé une nouvelle version du réseau de capsules chaque année au cours des trois dernières années. Il sourit et dit: "Oubliez l'ancienne version du réseau de capsules que vous connaissez. Ils ont tous tort, cette version a raison."
En tant que discipline, certaines de ces difficultés deviendront de plus en plus difficiles à résoudre. Lorsque Kebling a demandé si quelqu'un s'était inquiété du but et de l'intention des grandes entreprises d'utiliser l'IA. Hinton sourit et désigna LeCun, et LeCun sourit et désigna Hinton. LeCun est en charge du département de recherche sur l'IA de Facebook, tandis que Hinton est membre de l'équipe d'IA de Google. Hinton a dit: "Euh, je pense qu'ils devraient s'occuper des fausses nouvelles, mais ..." Dit-il, sa voix baissa. Dans le même temps, LeCun a répondu: "En fait, nous avons affaire à cette affaire." Cette confrontation a provoqué les plus grands applaudissements et rires de la scène.
Pour la structure globale du domaine et comment l'améliorer, les trois scientifiques ont avancé quelques idées. Bengio a souligné, De nos jours, les jeunes chercheurs sont plus sous pression pour publier des articles que lorsqu'il était doctorant . Il estime que des changements structurels doivent être apportés pour permettre aux universitaires de prêter plus d'attention aux problèmes à long terme. LeCun est également professeur à l'Université de New York. Il a dit qu'en tant que professeur, "je n'admettrais jamais d'étudiants comme moi".
Hinton a travaillé dans l'obscurité pendant des années. Dans un accent anglais lent et doux, il réussit à expliquer de manière détendue les problèmes posés par une recherche aussi myope.
Il a dit: "Je propose un tel modèle pour ce processus. Les gens ont étudié une idée pendant une courte période, fait un peu de progrès et publié un article."
"C'est comme si quelqu'un avait pris un livre de Sudoku difficile, l'a parcouru et rempli les blancs simples dans chaque question de Sudoku. Cela a causé beaucoup de problèmes aux autres."
Lien de référence:
https://www.zdnet.com/article/deep-learning-godfathers-bengio-hinton-and-lecun-say-the-field-can-fix-its-flaws/
