Presse Revue de Technologie AI: Lors de la conférence Google I / O 2019 de cette année, il y a eu une session au cours de laquelle Geoffery Hinton, le "parrain de l'apprentissage profond" et l'un des lauréats du prix Turing 2018, a été invité à parler de sujets académiques et non académiques. L'ensemble du processus était très facile, il suffit de parler de divers sujets, mais le vieil homme Hinton était aussi plein académique que jamais. Selon la lecture de la vidéo, Leifeng.com AI Technology Review a compilé le contenu de l'interview comme suit. Une petite partie est abrégée.

Modérateur: Bonjour à tous, voici Nicholas Thompson, journaliste Wired. Aujourd'hui, nous allons avoir une discussion en face à face avec Geoffery Hinton. En parlant de Hinton, il y a deux choses chez lui que j'admire. La première est bien sûr qu'il est très persévérant. Même si tout le monde dit que ses idées sont mauvaises, il insiste pour croire en lui et insiste pour le faire. D'autres personnes qui "ont de mauvaises idées" sont encouragées par lui, moi y compris. La deuxième chose est que j'ai été manager pendant la majeure partie de ma vie, et on peut dire que j'ai rassemblé différents titres de poste, et quand j'ai vu le profil de Hinton, son titre ne pouvait pas être plus médiocre - c'est Google Engineering Fellow ( Google Engineering Fellow) uniquement. Invitons-le à monter sur scène.

Hinton: Merci, je suis heureux d'être ici.

Pourquoi s'en tenir aux réseaux de neurones

Modérateur: Commençons alors. Je me souviens qu'il y a environ 20 ans, vous avez commencé à rédiger certains des premiers articles influents. Après l'avoir lu, d'autres ont pensé: "Eh bien, c'est une idée intelligente, mais nous ne pouvons pas concevoir un tel ordinateur." Dites à tout le monde pourquoi vous pouvez persister et pourquoi vous pensez avoir trouvé quelque chose d'important?

Hinton: Corrigez-vous d'abord, c'était il y a 40 ans. À mon avis, le cerveau ne peut fonctionner d'aucune autre manière, il ne peut qu'apprendre la force de la connexion. Donc, si vous voulez créer une machine capable de faire des choses intelligentes, vous avez deux choix devant vous: la programmer ou la laisser apprendre. De toute évidence, notre sagesse humaine n'est pas écrite par les autres, elle ne peut donc être que «apprendre». Il n'y a qu'une seule possibilité.

Modérateur: Pouvez-vous expliquer le concept de "réseau neuronal" à tout le monde? La plupart des personnes présentes devraient le savoir, mais nous souhaitons tout de même connaître vos premières pensées et son évolution.

Hinton: Tout d'abord, vous avez des unités de traitement très simples, qui peuvent être considérées comme de simples formes de neurones. Ils peuvent accepter les signaux entrants et chaque signal a des poids. Ces poids peuvent varier. C'est le processus d'apprentissage. Ensuite, ce que fait le neurone, c'est d'abord multiplier la valeur du signal entrant par le poids, puis les additionner pour obtenir une somme, et enfin décider s'il faut envoyer la somme; par exemple, si la valeur est suffisamment grande, elle sera envoyée. S'il est grand ou négatif, il ne sera pas transmis. C'est si simple. Il vous suffit de connecter des milliers de ces unités les unes aux autres, il y a des dizaines de milliers de dizaines de milliers de fois le poids, puis d'apprendre ces poids, alors vous pouvez faire n'importe quoi. La difficulté réside uniquement dans la manière d'apprendre les poids.

Modérateur: Quand avez-vous commencé à sentir que cette approche est similaire au fonctionnement du cerveau humain?

Hinton: Le réseau neuronal a été conçu pour imiter le cerveau humain depuis le début.

Modérateur: Par exemple, à un moment de votre vie, vous avez commencé à réaliser le fonctionnement du cerveau humain, à l'âge de 12 ans ou à 25 ans. Quand avez-vous commencé et comment? Vous avez décidé de concevoir un réseau neuronal comme le cerveau humain?

Hinton: C'est presque dès que vous savez comment fonctionne le cerveau humain. L'idée même de faire cette recherche est d'imiter les connexions du cerveau humain, puis d'essayer d'apprendre ces poids de connexion. Je ne suis pas réellement le fondateur de cette idée, Turing avait la même idée. Bien que Turing ait grandement contribué au développement de l'informatique standard, il pense que le cerveau humain est un appareil sans structure claire et que les poids de connexion sont tous des valeurs aléatoires, et qu'il suffit ensuite d'utiliser l'apprentissage par renforcement pour changer ces poids. , Il peut tout apprendre. Il a estimé que le meilleur modèle de «sagesse» était comme ça. Il y en a beaucoup d'autres qui ont des idées similaires.

Modérateur: Dans les années 1980, vos recherches dans ce domaine vous ont rendu moins célèbre, mais depuis, depuis quand d'autres chercheurs ont-ils commencé à abandonner cette direction? Vous seul avez persisté.

Hinton: (Pause) Il y a toujours un petit groupe de personnes qui insistent pour croire et persister jusqu'à ce jour, en particulier dans le domaine de la psychologie. Cependant, il y a moins de persistance en informatique, car dans les années 1990, les ensembles de données sur le terrain étaient petits et les ordinateurs n'étaient pas si rapides. À cette époque, d'autres types de méthodes sont apparus, comme les machines vectorielles de support (SVM ), ils fonctionnent mieux dans de telles conditions et sont moins affectés par le bruit. Bien que nous ayons développé la rétropropagation dans les années 80 et que nous pensions qu'elle pouvait résoudre tous les problèmes, nous ne pouvions pas comprendre pourquoi elle ne pouvait résoudre aucun problème à ce moment-là. Plus tard, nous avons appris que les données et la puissance de calcul étaient toutes deux à grande échelle, mais personne ne le savait à l'époque.

Modérateur: Quelle était la raison pour laquelle vous pensiez que ce n'était pas efficace à l'époque?

Hinton: Nous pensions que c'était un mauvais algorithme, une mauvaise fonction objective, etc. J'ai une idée depuis longtemps. Je pense que c'est parce que nous faisons de l'apprentissage supervisé et que nous devons étiqueter beaucoup de données, alors ce que nous devrions faire, c'est un apprentissage non supervisé, apprendre à partir de données non étiquetées. Mais à la fin, nous avons constaté que la raison principale était l'échelle.

Modérateur: Cela semble intéressant, mais c'est juste un manque de données, mais vous pensiez qu'il y avait suffisamment de données à l'époque, mais vous ne l'avez pas bien étiqueté - vous avez trouvé la mauvaise question, n'est-ce pas?

Hinton: J'ai senti que "utiliser des données étiquetées" était faux. La plupart du processus d'apprentissage humain n'a utilisé aucune balise, juste la modélisation de la structure dans les données. En fait, je le crois toujours. Je pense qu'à mesure que les ordinateurs deviennent de plus en plus rapides, avec un ensemble de données suffisamment volumineux, un apprentissage non supervisé doit être effectué en premier; après un apprentissage non supervisé, vous pouvez utiliser moins Annoter l'apprentissage des données.

Modérateur: Dans les années 1990, vous avez continué à faire des recherches dans le milieu universitaire et vous étiez toujours en train de publier des articles, mais vous ne pouviez pas continuer à résoudre de plus en plus de problèmes. Pensiez-vous que j'en avais assez et que je devais faire autre chose? Ou est-il très déterminé à continuer à le faire?

Hinton: Il faut le faire fermement, cela fonctionnera certainement. Vous voyez, le cerveau humain apprend en changeant ces connexions, nous étudions et imitons. Il peut y avoir de nombreuses façons d'apprendre les forces et les faiblesses de ces connexions. Le cerveau en utilise une, mais d'autres méthodes peuvent également être envisageables. Mais vous devez toujours trouver un moyen d'apprendre les poids de connexion. Je n'en ai jamais douté.

Voir l'espoir

Modérateur: Quand cela semble-t-il fonctionner?

Hinton: Dans les années 80, il y avait quelque chose qui causait un mal de tête à tout le monde. Si vous conceviez un réseau neuronal avec de nombreuses couches cachées (couches intermédiaires), vous ne pouviez pas les entraîner. Les réseaux de neurones dans certaines tâches très simples peuvent être formés, comme la reconnaissance de polices manuscrites, mais pour la plupart des réseaux de neurones plus profonds, nous ne savons pas comment les entraîner. Vers 2005, j'ai pensé à quelques idées pour un entraînement non supervisé de réseaux de neurones profonds. Plus précisément, à partir de votre entrée, par exemple, certains pixels, apprenez certains détecteurs de caractéristiques, après avoir appris qu'ils peuvent expliquer pourquoi ces pixels sont comme ça. Ensuite, vous utilisez ces détecteurs de caractéristiques en tant que données, vous les utilisez comme entrées, puis vous apprenez un autre lot de détecteurs de caractéristiques, vous pouvez expliquer pourquoi il existe une corrélation entre ces détecteurs de caractéristiques. Ensuite, apprenez simplement couche par couche. Il est très intéressant que vous puissiez prouver par des mathématiques que lorsque vous apprenez de plus en plus de couches, vous n'obtiendrez peut-être pas un meilleur modèle de données, mais vous connaîtrez le résultat de la comparaison de votre modèle actuel. Chaque fois que vous ajoutez une nouvelle couche, vous obtiendrez de meilleurs résultats de comparaison.

Modérateur: Pouvez-vous expliquer plus?

Hinton: Lorsque vous obtenez un modèle, vous vous demandez «Dans quelle mesure le modèle correspond-il aux données?» Vous pouvez entrer des données dans le modèle, puis lui demander «Pensez-vous que les données correspondent à vos idées? Ou pensez-vous Surprenant? »Vous pouvez faire quelques mesures de ce degré. L'effet que nous voulons est d'obtenir un bon modèle. Après avoir vu les données, il dira "Euh, euh, tout ce que je connais." Il est généralement difficile de calculer avec précision le degré de familiarité du modèle avec les données, mais vous pouvez calculer le niveau relatif entre un modèle et un modèle, qui est le résultat de la comparaison. Ensuite, nous avons prouvé que plus vous ajoutez de couches de détecteurs de caractéristiques supplémentaires, plus le nouveau modèle est familier avec les données. (Note de Leifeng.com AI Technology Review: pour les détails techniques spécifiques de cette partie, veuillez vous référer à la conférence de Hinton sur Deep Belief Networks sur NIPS 2007

Modérateur: C'est bien d'avoir une telle idée de modélisation en 2005. Quand votre modèle a-t-il commencé à avoir un bon résultat? Sur quelles données avez-vous expérimenté?

Hinton: C'est un ensemble de données numériques manuscrites, très simple. À peu près à ce moment-là, le GPU (unité de calcul graphique) a commencé à se développer rapidement, et les personnes qui ont fait du réseau neuronal ont probablement commencé à utiliser le GPU en 2007. J'avais un très bon élève à l'époque. Il a utilisé le GPU pour trouver l'autoroute dans les images aériennes. Une partie du code qu'il a écrit à l'époque a ensuite été utilisée par d'autres étudiants dans la détection de phonèmes de la parole, également avec l'aide du GPU. Ce qu'ils ont fait à l'époque était la pré-formation. Après la pré-formation, l'étiquette a été ajoutée, puis la rétropropagation a été effectuée. Cette approche a non seulement permis de créer un réseau de neurones pré-entraîné très profond, mais a également eu un bon rendement après une rétropropagation. Elle a battu de nombreux autres modèles dans le test de reconnaissance vocale à l'époque. L'ensemble de données est TIMIT, qui est très petit. Notre modèle est un peu meilleur que les meilleurs résultats universitaires à l'époque et meilleur que celui d'IBM. C'est le début, pas beaucoup d'amélioration.

Ensuite, d'autres personnes ont rapidement réalisé que cette méthode pouvait obtenir de bons résultats en continuant à l'améliorer.Après tout, les modèles standard qu'elle avait vaincus à l'époque avaient mis 30 ans à atteindre cet effet. Une fois mes étudiants diplômés, ils sont allés chez Microsoft, IBM, Google, puis Google a développé cette technologie en un système de reconnaissance vocale de niveau production le plus rapide. Les premiers résultats ont été obtenus en 2009, et le système Android a été introduit en 2012, et le système Android est également très en avance dans la reconnaissance vocale.

Modérateur: A cette époque, vous aviez cette idée pendant 30 ans, et vous avez finalement obtenu un résultat publiquement reconnu, et l'effet était meilleur que d'autres chercheurs.

Hinton: Je me sens vraiment heureux et j'ai finalement atteint le stade de la résolution de problèmes pratiques.

Modérateur: Ainsi, lorsque vous avez découvert que le réseau neuronal peut bien résoudre le problème de la reconnaissance vocale, quand avez-vous essayé de l'utiliser pour résoudre d'autres problèmes?

Hinton: Eh bien, après cela, nous avons commencé à essayer cette méthode sur divers problèmes. La première personne à avoir utilisé les réseaux neuronaux pour la reconnaissance vocale fut George Dahl, qui commença à utiliser les réseaux neuronaux pour prédire si une molécule se connecterait à quelque chose et jouerait un rôle thérapeutique. À cette époque, il y avait un concours pour ce faire: il a directement utilisé la méthode standard de reconnaissance vocale pour prédire l'activité des molécules de médicaments, puis il a remporté le concours. C'est un signal très positif, et la méthode des réseaux neuronaux semble être très polyvalente. À ce moment-là, l'un de mes étudiants a déclaré: «Geoff, je pense que l'utilisation de cette méthode de reconnaissance d'image fonctionnera également bien. Li Feifei a également créé un ensemble de données approprié, et il y a un concours ouvert. Nous devons l'essayer. ". Nous avons participé et les résultats étaient bien meilleurs que les méthodes de vision par ordinateur standard. (AlexNet a remporté la première place du Défi de reconnaissance visuelle à grande échelle ImageNet 2012 ILSVRC, bien mieux que la deuxième place, l'équipe SuperVision dans l'image ci-dessous)

Modérateur: J'ai parlé de nombreux cas de succès, comme la modélisation de molécules chimiques, de voix, d'images, etc. Y a-t-il des cas d'échec?

Hinton: Les échecs ne sont que temporaires, pouvez-vous comprendre?

Modérateur: Alors, y a-t-il des domaines où le succès est particulièrement rapide, et certains domaines sont plus lents? Mon sentiment semble être que les tâches essentielles des organes de perception humaine tels que le traitement du signal visuel et le traitement du signal vocal sont les premières à être surmontées, est-ce vrai?

Hinton: Pas tout à fait raison, la perception est effectivement dépassée, mais il n'y a pas tellement de progrès dans des choses comme le contrôle de mouvement. La capacité de contrôle des mouvements humains est très élevée et très facile. De toute évidence, notre cerveau est conçu pour le contrôle des mouvements. Jusqu'à aujourd'hui, les performances des réseaux de neurones en contrôle de mouvement ont commencé à rattraper les technologies précédentes. Le réseau de neurones finira par rattraper son retard, mais seule une petite victoire vient d'apparaître. Je pense que le raisonnement et la dérivation abstraite, que les humains n'apprennent à faire qu'à la fin, seront également les choses les plus difficiles à apprendre pour les réseaux de neurones.

Modérateur: Vous dites toujours que les réseaux de neurones peuvent enfin tout gérer? (rire)

Hinton: Eh bien, nous, les humains, sommes des réseaux neuronaux. Tout ce que nous pouvons faire, le réseau neuronal peut le faire.

Modérateur: Oui, mais le cerveau humain n'est pas nécessairement la machine informatique la plus efficace au monde. Existe-t-il une machine plus efficace que le cerveau humain?

Hinton: D'un point de vue philosophique, je ne suis pas contre l'idée qu'il existe une manière complètement différente de réaliser tout cela. Par exemple, si vous commencez par la logique, vous essaierez d'étudier la logique automatique, et vous trouverez une machine de démonstration automatique de théorème particulièrement puissante; si vous commencez par le raisonnement, et que vous voulez ensuite faire une perception visuelle par le raisonnement, peut-être que cette méthode est également faisable. Mais au final, ces méthodes n'ont pas donné de bons résultats. D'un point de vue philosophique, je ne suis pas opposé à d'autres moyens d'y parvenir. C'est juste qu'à l'heure actuelle, nous savons que le cerveau, c'est-à-dire le réseau neuronal, peut effectivement faire cela.

Comprenons-nous les réseaux de neurones? Comprenez-vous notre cerveau?

Modérateur: Ensuite, je voudrais poser une autre question, c'est-à-dire que nous ne comprenons pas complètement comment fonctionnent les réseaux de neurones, n'est-ce pas?

Hinton: Oui, nous ne savons pas comment fonctionnent les réseaux de neurones.

Modérateur: Il nous est difficile de déduire des résultats comment fonctionne le réseau de neurones, c'est la clé de notre incompréhension du réseau de neurones, non? Parlons en détail. Et évidemment, j'ai toujours la question suivante: si nous ne savons pas comment ils fonctionnent, comment pouvons-nous obtenir de bons résultats après les avoir réalisés?

Hinton: Si vous regardez les systèmes de vision par ordinateur actuels, la plupart d'entre eux n'ont qu'une propagation directe et aucune connexion de rétroaction. Une autre caractéristique des systèmes de vision par ordinateur actuels est qu'ils sont très sensibles aux erreurs de confrontation. Par exemple, si vous avez une image d'un panda. Après avoir légèrement modifié quelques pixels, nous ressemblons toujours à un panda, mais le système de vision par ordinateur est Pensez soudain que l'image est une dinde. De toute évidence, cette méthode de modification des pixels doit être soigneusement conçue et induit en erreur ou trompe le système de vision par ordinateur. Mais le fait est que c'est toujours un panda aux yeux des humains et qu'il n'est pas affecté.

Donc, au début, nous pensions que les systèmes de vision par ordinateur basés sur des réseaux de neurones fonctionnaient plutôt bien, mais plus tard, lorsque nous avons développé de telles modifications (attaques) contradictoires qui peuvent jouer un tel rôle, tout le monde commencerait à être un peu inquiet. Je pense qu'une partie de la raison de ce problème est que le réseau n'a pas été reconstruit à partir de représentations de haut niveau. Maintenant, certains chercheurs essaient de faire un apprentissage discriminatif, qui consiste à apprendre de nombreuses couches de détecteurs de caractéristiques, puis le but ultime est de changer les poids des différents détecteurs de caractéristiques pour mieux obtenir les bons résultats. Récemment, notre équipe a également fait des découvertes à Toronto: Nick Frost a découvert que si vous introduisez un processus de reconstruction, cela peut rendre le réseau plus stable face aux attaques adverses. Je pense donc que dans le système visuel humain, le processus d'apprentissage implique une reconstruction. En plus de la vision, beaucoup de nos processus d'apprentissage sont reconstruits, nous sommes donc beaucoup plus stables face aux attaques de confrontation.

Modérateur: En d'autres termes, pensez-vous que la connexion back-to-front dans le réseau neuronal peut vous aider à tester le processus de reconstruction des données?

Hinton: Oui, je pense que c'est très important.

Modérateur: Les scientifiques du cerveau partagent-ils donc le même avis?

Hinton: Les scientifiques du cerveau sont tous d'accord avec ce point de vue, c'est-à-dire que si la voie du signal sensoriel passe à travers deux zones différentes du cortex cérébral, il doit y avoir une connexion inverse. Ils ne se sont tout simplement pas mis d'accord sur le rôle de cette connexion. Sa fonction peut être l'attention, elle peut être pour l'apprentissage, elle peut être pour la reconstruction, ou même les trois.

Modérateur: Nous ne comprenons donc pas pleinement le rôle de la connexion inversée. Vous voulez maintenant créer une connexion inversée dans le réseau qui joue un rôle dans la reconstruction. Est-il raisonnable de le faire? Bien que vous disiez vouloir imiter le cerveau, vous ne savez pas si le cerveau est comme ça.

Hinton: Je n'ai aucun souci à ce sujet. Après tout, je ne fais pas de neurosciences computationnelles, et je n'essaye pas non plus de proposer un bon modèle du fonctionnement du cerveau humain. Ce que j'ai fait, c'est d'observer le cerveau et de dire: «Puisque cela fonctionne bien, quand nous voulons que d'autres choses fonctionnent bien, nous pouvons trouver de l'inspiration d'ici. Nous nous inspirons donc des neurosciences et de la science du cerveau, mais nous ne modélisons pas les nerfs du cerveau. L'ensemble de notre modèle de réseau de neurones et les neurones utilisés dans notre modèle sont inspirés des nerfs du cerveau humain: les neurones ont de nombreuses connexions, et ces connexions peuvent modifier le poids.

Modérateur: Cela semble très intéressant. Donc, si je fais aussi de l'informatique, j'étudie également les réseaux de neurones, et si je veux faire mieux que Hinton, il y a une option pour construire une connexion back-to-front basée sur d'autres modèles de la science du cerveau. Cette fois, je peux Choisissez de le laisser jouer le rôle d'apprentissage.

Hinton: Si vous pouvez obtenir un meilleur modèle de cette façon, vous pourriez vraiment réussir.

Modérateur: Le sujet suivant, puisque nous disons que les réseaux de neurones peuvent résoudre divers problèmes, est-il possible pour les réseaux de neurones de capturer et de reproduire le cerveau humain, comme les sentiments ...

Hinton: (Interrompre directement) Impossible.

Modérateur: Pouvons-nous utiliser les réseaux de neurones pour reconstruire l'amour et la conscience?

Hinton: C'est bien, tant que vous comprenez ce que ces choses signifient. Après tout, nous, les humains, sommes aussi des réseaux de neurones. La sensibilisation est quelque chose qui m'intéresse particulièrement maintenant, mais beaucoup de gens ne savent pas de quoi ils parlent lorsqu'ils prononcent ce mot. Il existe de nombreuses définitions différentes de cette chose, à mes yeux, cela devrait être un terme scientifique. Il y a cent ans, si vous demandiez aux autres ce qu'était la «vie», ils pourraient dire: «Les choses qui sont vivantes ont une vitalité positive. Quand elles meurent, cette vitalité les accompagne. Donc la différence entre les vivants et les morts Y a-t-il ce genre de vitalité? " Désormais, nous ne parlons pas de vitalité, nous pensons quil sagit dun concept pseudo-scientifique. Même après avoir étudié la biochimie et la biologie moléculaire, vous commencerez à dénoncer la force vitale, car vous comprenez déjà ce qu'est vraiment la vie. Je pense que notre compréhension de la «conscience» passera par le même processus. Ce terme a été précédemment proposé pour expliquer les phénomènes spirituels qui, selon nous, ont des significations importantes. Mais une fois que nous comprenons vraiment ce qu'est la conscience, le contenu de cette "signification importante" n'est plus important. Nous pouvons clairement expliquer ce que nous faisons pour faire sentir aux autres qu'une personne est "consciente" et pourquoi, Peut également expliquer toutes les différentes significations de ce mot.

Modérateur: Donc, aucune émotion ne peut être créée, aucune pensée ne peut être créée, tant que nous comprenons pleinement comment fonctionne le cerveau, théoriquement, il n'y a rien que le cerveau humain puisse faire qui ne puisse pas bien fonctionner. Reproduit par le réseau neuronal?

Hinton: Savez-vous que ces quelques phrases que vous venez de dire me rappellent une chanson de John Lennon, les mots sont très similaires.

Modérateur: Avez-vous confiance à 100% en ces derniers?

Hinton: Non, pas à 100%. Je suis bayésien et j'ai confiance à 99,9%.

Modérateur: D'accord, qu'en est-il des 0,1% restants?

Hinton: Il est possible que notre monde entier soit un grand simulateur, rien de tout cela n'est vrai.

Modérateur: Ce n'est pas impossible. Alors, grâce à vos recherches sur les ordinateurs, avons-nous de nouvelles découvertes sur le cerveau?

Hinton: Je pense que ce que nous avons appris au cours des dix dernières années, c'est que si vous avez un système avec des centaines de millions de paramètres et une fonction objective, telle que le remplissage de cloze, les performances qu'il peut atteindre sont meilleures qu'il n'y paraît directement. C'est beaucoup mieux.

La plupart des gens qui font de l'IA traditionnelle penseront, ou une personne ordinaire pensera, pour un système avec des milliards de paramètres, partir de l'état initial où tous les paramètres sont des valeurs aléatoires, calculer le gradient de la fonction objectif, puis changer celui-ci un par un. Avec des milliards de paramètres, laissez la valeur de la fonction objectif aller un peu dans une meilleure direction, et il y aura des rounds après rounds. Cette tâche est trop de travail, il n'y a aucun espoir de terminer, il est très probable qu'elle soit à mi-chemin C'est coincé. Mais en fait, c'est un très bon algorithme: plus l'échelle de tous les aspects est grande, meilleur est son effet. Ceci est complètement résumé de notre expérience. Maintenant que nous avons développé une telle loi, il est beaucoup plus facile de penser que le cerveau humain calcule également le gradient d'une fonction objective, puis met à jour la force de la propagation du signal électrique neuronal en fonction du gradient. Il suffit de comprendre comment ce processus est décomposé en étapes et quelle est la fonction objective.

Modérateur: Mais notre compréhension du cerveau n'a pas encore atteint ce point? Nous ne comprenons toujours pas ce processus de changement de poids?

Hinton: C'est une théorie. Il y a longtemps, les gens pensaient que c'était possible, mais il y aura toujours des informaticiens traditionnels qui insisteront: «Cela semble beau, mais vous dites que vous avez des milliards de paramètres avec des valeurs initiales aléatoires, puis tous passent par une descente de gradient. Apprendre, c'est impossible, il faut y fixer des connaissances. »Maintenant, nous pouvons prouver que leur point de vue est faux, il suffit de commencer avec des paramètres aléatoires, puis de tout apprendre.

Modérateur: Développons un peu. Supposons que nous concevions des modèles basés sur la façon dont nous pensons que le cerveau fonctionne, puis que nous les testions à grande échelle, nous en saurons probablement de plus en plus sur le fonctionnement réel du cerveau. Atteindre un jour un point où nous pourrons transformer nos propres cerveaux et en faire des machines informatiques plus efficaces et plus efficaces?

Hinton: Si nous pouvons vraiment le comprendre, nous pouvons faire de meilleures choses comme l'éducation. Je crois que cela arrivera. Si vous pouvez comprendre ce qui se passe dans votre cerveau, mais que vous ne pouvez pas l'ajuster pour mieux vous adapter à votre environnement, c'est une chose étrange.

L'apprentissage automatique, c'est aussi «rêver»

Modérateur: Pouvons-nous mieux comprendre les rêves?

Hinton: Je pense que oui, je suis aussi très intéressé par les rêves, donc je connais au moins quatre théories sur les rêves.

Modérateur: Parlez-en à tout le monde.

Hinton: Le premier a une longue histoire. Il y a longtemps, il y avait quelque chose appelé le réseau Hopfield, qui peut apprendre la mémoire comme attracteur local. Le gars Hopfield a découvert que si vous essayez de mettre trop de mémoire, ils seront confus. Cela fera fusionner les deux attracteurs locaux en un seul à une certaine position au milieu.

Il y a deux personnes, Francis Crick et Graeme Mitchison, qui ont dit qu'ils pouvaient désapprendre pour éviter les faux minima locaux. Ensuite, nous fermons l'entrée du réseau, définissons d'abord le réseau de neurones dans un état aléatoire, puis attendons qu'il s'arrête, nous sentirons que le résultat n'est pas bon, puis ajustons la connexion réseau pour qu'elle ne s'arrête pas dans cet état. Après avoir fait cela plusieurs fois, il peut stocker plus de souvenirs.

Puis il est venu à moi et Terry Sejnowski. Nous avons senti que non seulement les neurones stockent les souvenirs, mais il y a beaucoup de neurones qui jouent d'autres rôles. Pouvons-nous concevoir un algorithme qui permet à d'autres neurones d'aider également à restaurer les souvenirs. Plus tard, nous avons développé la machine Boltzmann en machine learning, elle a une propriété très intéressante: lui montrer des données, et elle continuera à errer dans d'autres unités jusqu'à ce qu'un état satisfaisant soit obtenu; Si vous l'obtenez, cela augmentera le poids de toutes les connexions en fonction de l'activation des deux unités. Il y a une étape ici, et vous devez la séparer de l'entrée. Vous le laissez errer jusqu'à un état dans lequel il se sent à l'aise, puis vous le laisserez trouver toutes les paires de neurones actifs et affaiblir la connexion entre eux.

L'algorithme que je vous ai expliqué ici semble être un processus intéressant, mais en fait, l'algorithme est le résultat de recherches mathématiques. Ce que nous considérons est "comment changer la façon dont ces connexions sont établies pour que le réseau de neurones avec des couches cachées ait l'impression que les données sont très Familier avec". Et il doit avoir une autre étape. Nous l'appelons un état négatif, ce qui signifie le laisser fonctionner sans entrée, puis oublier tout état dans lequel il se trouve.

Nous, les humains, dormons plusieurs heures par jour. Si vous vous réveillez au hasard, vous pouvez dire quel rêve vous faisiez, car la mémoire du rêve est stockée dans la mémoire à court terme. Si vous vous réveillez après avoir suffisamment dormi, vous ne pouvez vous souvenir que du dernier rêve et vous ne vous souviendrez pas des rêves précédents. C'est en fait une bonne chose, pour ne pas confondre les rêves avec la réalité. Alors pourquoi ne pouvons-nous pas nous souvenir de nos rêves? Le point de Crick est que le but de rêver est d'oublier beaucoup de choses. C'est comme l'opération inverse de l'apprentissage.

Et Terry Sejnowski et moi avons montré qu'il s'agit en fait d'un processus d'apprentissage au maximum de vraisemblance d'une machine Boltzmann. C'est aussi une théorie du rêve.

Modérateur: Avez-vous fait d'un algorithme d'apprentissage en profondeur un rêve comme celui-ci? Apprenez un certain ensemble de données d'image, puis oubliez, réapprenez, etc.

Hinton: Oui. Nous avons essayé des algorithmes d'apprentissage automatique. Le premier algorithme que nous avons découvert qui peut apprendre à traiter les neurones cachés incluait des machines Boltzmann, mais l'efficacité était très faible. Plus tard, j'ai trouvé un moyen de les rapprocher, ce qui est beaucoup plus efficace. Ce sont en fait des opportunités d'apprentissage en profondeur pour retrouver sa vitalité, c'est-à-dire qu'avec ces méthodes, je peux apprendre les détecteurs de caractéristiques une couche à la fois. C'est une forme efficace de la machine Boltzmann restreinte. Cela peut aussi faire oublier. Mais il n'a pas besoin de sommeil, il a juste besoin de méditer pendant un moment après avoir vu chaque point de données.

Modérateur: Qu'en est-il de la deuxième théorie?

Hinton: La deuxième théorie s'appelle l'algorithme de sommeil de veille, et vous voudrez apprendre un modèle génératif. L'idée ici est que vous disposez d'un modèle capable de générer des données. Il comporte de nombreuses couches de détecteurs d'entités. Il peut être activé progressivement du niveau haut au niveau des pixels, puis vous obtenez une image. Vous pouvez également le faire dans l'autre sens, et cela devient une reconnaissance d'une image.

De cette façon, votre algorithme aura deux phases. Dans la phase de veille, les données arrivent et le modèle essaie de reconnaître les données; cette fois, le but de l'apprentissage du modèle n'est pas de renforcer la connexion pour la reconnaissance, mais de renforcer la connexion pour la génération. Au fur et à mesure que les données arrivent, les neurones de la couche cachée sont activés, puis les neurones apprennent à mieux reconstruire les données. Apprenez à reconstruire chaque couche. Mais la question est, comment apprendre la connexion directe comme ça? L'idée est que si vous connaissez déjà la connexion directe, vous pouvez apprendre la connexion inverse car vous pouvez apprendre à reconstruire.

Maintenant, nous avons également constaté qu'il peut utiliser la connexion inversée, vous pouvez apprendre la connexion inversée, car vous pouvez directement partir de la couche supérieure pour activer puis générer des données. Et comme vous générez des données, vous connaissez l'état d'activation des neurones cachés et vous pouvez apprendre les connexions directes pour restaurer ces états. C'est la phase de sommeil. Lorsque vous désactivez l'entrée, vous générez simplement des données, puis vous essayez de reconstruire l'état des neurones cachés qui ont généré les données. De plus, si vous connaissez le lien descendant, vous pouvez apprendre le lien ascendant; l'inverse est également vrai. Donc, si vous commencez par une connexion aléatoire et alternez les deux choses, c'est également faisable. Bien sûr, pour que cela ait un bon effet, vous devez y apporter diverses modifications, mais c'est effectivement faisable.

Modérateur: emmm, il nous reste 8 minutes, prévoyez-vous de continuer à parler des deux autres théories? Dans ce cas, nous sauterons les dernières questions.

Hinton: Les deux autres théories peuvent prendre une heure.

Les capsules sont une bonne idée, mais aussi une erreur

Modérateur: Ensuite, nous continuerons à demander. Quel genre de recherche faites-vous actuellement? Quels problèmes essayez-vous de résoudre?

Hinton: En fin de compte, nous devons tous continuer à faire les recherches que nous n'avons pas faites auparavant. Je pense qu'il y a une chose dans ma recherche qui ne finira jamais, c'est les capsules, qui sont la théorie de la perception visuelle à travers la reconstruction dans mon esprit et la théorie du routage des informations au bon endroit. Dans un réseau de neurones standard, l'information, qui est l'activité des neurones dans chaque couche, se déplace automatiquement et vous ne pouvez pas décider où laisser passer l'information. L'idée de la capsule est de décider où envoyer les informations. Actuellement, depuis que j'ai commencé à étudier les capsules, d'autres collègues très intelligents de Google ont créé des modèles Transformer, faisant la même chose. Ils décident tous les deux où envoyer les informations, ce qui est une grande amélioration.

Une autre chose qui m'a inspiré à faire des capsules est le cadre de coordonnées. Lorsque les humains font de la perception visuelle, nous utilisons tous des cadres de coordonnées. Si un humain suppose le mauvais cadre de coordonnées sur un objet, il ne reconnaîtra pas cet objet.

Vous faites une petite tâche pour vous en faire une idée: imaginez un tétraèdre régulier dont la base est un triangle, puis il y a trois triangles sur les côtés, les quatre faces sont des triangles congruents. C'est facile à imaginer, non? Imaginez ensuite le couper avec un avion pour obtenir une section carrée. La coupe est simple, mais il est difficile d'obtenir une section carrée. Chaque fois que vous essayez de couper, vous obtiendrez une section triangulaire.

Il semble difficile de voir comment cette section carrée est coupée. Alors laissez-moi décrire le même objet d'une autre manière. Permettez-moi de dessiner avec votre stylo. Il y a un stylo en haut et un stylo en bas. Imaginez qu'ils sont verticaux dans l'espace, puis reliez tous les points du stylo supérieur à tous les points du stylo inférieur. Ensuite, vous avez un tétraèdre. Maintenant, nous regardons la relation entre ce tétraèdre et le cadre de coordonnées. Le côté supérieur est parallèle à un axe de coordonnées et le côté inférieur est parallèle à l'autre axe de coordonnées. Ainsi, lorsque vous regardez les choses de cette façon, il est facile de voir comment découper un rectangle et vous pouvez trouver un carré au milieu. Mais ce n'est que lorsque nous pensons dans ce cadre de coordonnées que nous pouvons le voir.

C'est évident pour les humains, mais en fait, le cadre de coordonnées est très important pour la perception.

Modérateur: L'ajout d'un cadre de coordonnées au modèle est une erreur par rapport à ce que vous faisiez dans les années 90 lorsque vous vouliez intégrer les règles dans le modèle. Y a-t-il une différence? Cela ne signifie-t-il pas que le système ne doit pas être supervisé?

Hinton: Oui, c'est la même erreur. Juste parce que je suis à peu près sûr que c'est une grave erreur, je ne peux qu'ajouter un peu, sans le savoir. Cela rend ma propre situation un peu gênante.

Modérateur: Votre recherche actuelle vise-t-elle spécifiquement la reconnaissance visuelle, ou avez-vous d'abord pensé au cadre de coordonnées, puis avez-vous essayé de le rendre plus général?

Hinton: Il peut être utilisé dans d'autres tâches, mais je suis particulièrement intéressé par les applications en reconnaissance visuelle.

Modérateur: L'apprentissage en profondeur était autrefois très unique, mais maintenant il semble être un synonyme d'IA dans une large mesure; en même temps, l'IA est également devenue un mot avec une forte signification marketing.Les personnes qui utilisent une machine ou un algorithme disent l'utiliser. AI. Que ressentez-vous en tant que personne qui a développé ces technologies et contribué à ce statu quo?

Hinton: J'étais beaucoup plus heureux lorsque l'IA faisait uniquement référence à un système informatique basé sur la logique et les symboles de fonctionnement; le réseau de neurones de l'époque disait également que l'on pouvait apprendre avec les réseaux de neurones. De nos jours, de nombreuses entreprises n'aiment pas ça, elles se soucient juste de l'argent. J'ai grandi dans cet environnement. Maintenant, je vois même des gens qui disent que les réseaux de neurones sont des déchets depuis de nombreuses années commencent à dire "Je suis professeur d'IA, alors accordez-moi un financement". C'est vraiment agaçant.

Modérateur: Votre domaine de recherche a décollé, et il a un peu le goût d'avaler d'autres domaines, ce qui leur donne une raison de demander de l'argent, ce qui est un peu frustrant.

Hinton: Mais ce n'est pas complètement injuste, beaucoup de gens ont en effet ajusté leur façon de penser.

Modérateur: Dernière question, vous avez dit une fois dans une interview que l'IA peut être comme un trou noir. Si vous la construisez de manière incorrecte, elle peut vous ronger. Alors, comment avez-vous évité de lui faire mal ou même d'en faire un trou noir dans vos recherches?

Hinton: Je ne créerai jamais délibérément une IA qui causera du tort. Bien sûr, si vous concevez un trou noir qui est bon pour manger la tête des autres, c'est une très mauvaise chose, et je ne ferais pas de telles recherches.

Modérateur: D'accord. J'ai eu une excellente conversation aujourd'hui, merci d'avoir tant dit. Peut-être que l'année prochaine, nous continuerons à parler des troisième et quatrième théories sur les rêves.

Voir la vidéo complète:

https://www.youtube.com/watch?v=UTfQwTuri8Y

Sommet mondial sur l'intelligence artificielle et les robots 2019

Le Sommet mondial sur l'intelligence artificielle et la robotique 2019 (CCF-GAIR 2019), organisé par la Chinese Computer Society et organisé conjointement par Lei Feng.com et l'Université chinoise de Hong Kong (Shenzhen), se tiendra 12-14 juillet 2019 Tenue à Shenzhen.

À ce moment-là, le lauréat du prix Nobel James J. Heckman, des universitaires chinois et étrangers, président du Sommet mondial, membre bien connu, et de nombreux invités de marque participeront à la bataille. , Pour discuter de la situation complexe de survie de l'intelligence artificielle et de la robotique dans les domaines de la science, de la production et de l'investissement

Cliquez pour lire le texte original pour voir d'autres articles liés par Geoffery Hinton