Lei Feng.com AI Technology Review Press: Lors de la conférence Google IO 2019 de cette année, il y a eu une session au cours de laquelle Geoffery Hinton, le "parrain de l'apprentissage en profondeur" et l'un des lauréats du prix Turing 2018, a été invité à parler d'universitaires et non- sujets académiques. L'ensemble du processus était facile, juste parler de divers sujets, mais M. Hinton était aussi académique que jamais. AI Technology Review de Lei Feng.com a organisé le contenu de l'interview en fonction de la lecture vidéo comme suit. Il y a des raccourcis mineurs.

Modérateur : Bonjour, je m'appelle Nicholas Thompson, journaliste pour Wired. Aujourd'hui, nous avons une conversation en tête-à-tête avec Geoffery Hinton. En parlant de Hinton, il y a deux choses que j'admire chez lui. La première, bien sûr, c'est qu'il est très persévérant. Même si tout le monde dit que ses idées sont terribles, il insiste pour croire en lui et insiste pour le faire. D'autres "mauvaises idées" ont été encouragées par lui, moi y compris. La deuxième chose est que j'ai été manager pendant la majeure partie de ma vie, et je peux dire que j'ai collectionné une variété de titres de poste, et quand j'ai vu le profil de Hinton, son titre ne pouvait pas être plus médiocre -- Google Engineering Fellow (Google Engineering Fellow) uniquement. Invitons-le sur scène.

Hinton : Merci, ravi d'être ici.

Pourquoi s'en tenir aux réseaux de neurones

Modérateur : Alors commençons. Je me souviens qu'il y a environ 20 ans, vous avez commencé à écrire certains des premiers articles percutants, et les gens l'ont lu et ont pensé : "Eh bien, c'est une idée intelligente, mais nous ne pouvons pas concevoir un ordinateur comme celui-là." Parlez à tout le monde des raisons pour lesquelles vous avez persisté et pourquoi vous avez tant cru que vous aviez trouvé quelque chose d'important ?

Hinton : Le premier à vous corriger, c'était il y a 40 ans. Il me semble que le cerveau ne peut pas fonctionner autrement, il ne peut qu'apprendre les forces et les faiblesses des connexions. Eh bien, si vous voulez construire une machine capable de faire des choses intelligentes, vous avez deux options devant vous, la programmer ou la laisser apprendre. Évidemment notre intelligence humaine n'est pas programmée par les autres, elle ne peut donc qu'être « apprenante ». Il n'y a qu'une seule possibilité.

Modérateur : Alors, pouvez-vous expliquer le concept de « réseau de neurones » à tout le monde ? La plupart d'entre vous devraient le savoir, mais nous aimerions quand même entendre vos premières réflexions et comment cela s'est développé.

Hinton : Tout d'abord, vous avez des unités de traitement très simples, qui peuvent être considérées comme de simples formes de neurones. Ils acceptent les signaux entrants, dont chacun a des poids, et ces poids peuvent varier, et c'est le processus d'apprentissage. Ensuite, ce que fait le neurone est de multiplier d'abord la valeur du signal entrant par le poids, de les additionner tous ensemble pour obtenir une somme, et enfin de décider s'il faut transmettre la somme ; par exemple, si la valeur est suffisamment grande, elle est transmise, non assez S'il est grand ou négatif, il ne sera pas transmis. C'est si simple. Vous connectez simplement des milliers de ces unités avec des milliers de milliers de fois les poids, apprenez ces poids et vous pouvez faire n'importe quoi. La difficulté réside uniquement dans la façon d'apprendre les poids.

Modérateur : Quand avez-vous commencé à sentir que cette approche est similaire au fonctionnement du cerveau humain ?

Hinton : Les réseaux de neurones ont été conçus à l'origine pour ressembler au cerveau humain.

Modérateur : Par exemple, à un moment donné de votre vie, vous commencez à comprendre comment fonctionne le cerveau humain, peut-être à l'âge de 12 ans, peut-être à 25 ans, alors quand avez-vous commencé et comment ? Vous avez décidé de concevoir un réseau de neurones après le cerveau humain ?

Hinton : Cela a été décidé presque dès que vous avez compris comment fonctionne le cerveau humain. L'idée même de faire cette recherche est d'imiter les connexions du cerveau humain, puis d'essayer d'apprendre le poids de ces connexions. Je ne suis pas vraiment le fondateur de cette idée, Turing a eu la même idée. Bien que Turing ait apporté de grandes contributions au développement de l'informatique standard, il pense que le cerveau humain est un appareil sans structure claire, et que les poids de connexion sont tous des valeurs aléatoires, et qu'il suffit ensuite d'utiliser l'apprentissage par renforcement pour modifier ces poids. il peut tout apprendre. Il a estimé que le meilleur mode de "sagesse" était celui-ci. Il y en a beaucoup d'autres qui ont des idées similaires.

Modérateur : Vos recherches dans ce domaine vous ont rendu célèbre dans les années 1980, mais depuis, quand d'autres chercheurs ont-ils commencé à abandonner cette direction ? Toi seul a persévéré.

Hinton : (Pause) Il y a toujours eu un petit groupe de personnes qui ont insisté pour croire et persister jusqu'à ce jour, en particulier dans le domaine de la psychologie. Cependant, le côté informatique peut insister un peu moins, car dans les années 1990, le jeu de données sur le terrain était très réduit, et l'ordinateur n'était pas si rapide.A cette époque, d'autres types de méthodes sont apparues, comme les machines à vecteurs de support. (SVM). ), ils fonctionnent mieux dans ces conditions et sont moins affectés par le bruit. Cela a commencé à être frustrant, et bien que nous ayons développé le backprop dans les années 80 et que nous pensions que cela résoudrait tous les problèmes, nous ne pouvions pas comprendre "pourquoi cela ne résolvait aucun problème" à l'époque. Plus tard, nous avons appris que rendre les réseaux de neurones puissants nécessite une énorme quantité de données et de puissance de calcul, mais personne ne le savait à l'époque.

Modérateur : Quelle était la raison pour laquelle vous pensiez que cela ne fonctionnait pas bien à l'époque ?

Hinton : Nous pensions que c'était parce que l'algorithme n'était pas bon, que la fonction objectif n'était pas bonne, etc. J'ai moi-même depuis longtemps l'idée que c'est parce que nous faisons un apprentissage supervisé et que nous devons étiqueter beaucoup de données ; alors ce que nous devrions faire est un apprentissage non supervisé, à partir de données non étiquetées. Mais en fin de compte, nous avons découvert que la raison principale était l'échelle.

Modérateur : Cela semble intéressant, mais c'est en fait juste un manque de données, mais vous pensiez qu'il y avait suffisamment de données, mais vous ne les avez pas bien étiquetées -- vous cherchez la mauvaise question, n'est-ce pas ?

Hinton : Je pensais qu'il était faux d'"utiliser des données étiquetées". La plupart du processus d'apprentissage humain n'utilise aucune étiquette, il modélise simplement la structure des données. En fait, je le crois toujours. Je pense qu'à mesure que les ordinateurs deviennent de plus en plus rapides, étant donné un ensemble de données suffisamment volumineux, l'apprentissage non supervisé doit être effectué en premier ; une fois l'apprentissage non supervisé terminé, moins d'apprentissage à partir de données étiquetées.

Modérateur : Dans les années 1990, vous avez continué à faire des recherches dans le milieu universitaire et à publier des articles, mais vous n'avez pas réussi à résoudre de plus en plus de problèmes. Avez-vous déjà pensé à l'époque, que j'en ai assez et que je vais faire autre chose ? Ou êtes-vous simplement déterminé à continuer?

Hinton : Il s'agit de s'y tenir, c'est tout à fait possible. Vous voyez, le cerveau humain apprend en changeant ces connexions, nous avons juste besoin de l'étudier et de l'imiter. Il peut y avoir de nombreuses façons différentes d'apprendre la force de ces connexions, le cerveau en utilise une, mais d'autres méthodes sont également possibles. Cependant, vous devez toujours trouver un moyen d'apprendre les poids de connexion. Je n'ai jamais douté de cela.

voir l'espoir

Modérateur : À quel moment a-t-il semblé que cela fonctionnerait ?

Hinton : Dans les années 1980, l'une des choses qui dérangeait vraiment les gens était que si vous concevez un réseau de neurones avec beaucoup de couches cachées (couches intermédiaires), vous ne pouviez pas les former. Les réseaux de neurones peuvent être formés pour certaines tâches très simples, telles que la reconnaissance des polices manuscrites, mais pour la plupart des réseaux de neurones profonds, nous ne savons pas comment les former. Vers 2005, j'ai eu quelques idées pour l'entraînement non supervisé des réseaux de neurones profonds. Plus précisément, à partir de votre entrée, disons quelques pixels, apprenez quelques détecteurs de caractéristiques qui, après les avoir appris, peuvent à peu près expliquer pourquoi ces pixels sont comme ils sont. Ensuite, vous prenez ces détecteurs de caractéristiques comme données, les prenez comme entrée et apprenez un autre lot de détecteurs de caractéristiques, et vous pouvez expliquer pourquoi ces détecteurs de caractéristiques sont liés. Ensuite, apprenez-le couche par couche. Il est intéressant que vous puissiez prouver mathématiquement qu'à mesure que vous apprenez de plus en plus de couches, vous n'obtenez pas nécessairement un meilleur modèle de données, mais vous saurez comment votre modèle actuel se compare. Chaque fois que vous ajoutez une nouvelle couche, vous obtiendrez de meilleurs résultats de comparaison.

Modérateur : Pouvez-vous en dire plus ?

Hinton : Lorsque vous obtenez un modèle, vous demandez : " Dans quelle mesure le modèle correspond-il aux données ?" Vous pouvez alimenter le modèle avec des données et lui demander : " Pensez-vous que les données correspondent à ce que vous pensez ? Ou vous sentez-vous surpris ? " Vous pouvez faire quelques mesures de cette étendue. L'effet que nous voulons est d'obtenir un bon modèle qui examine ces données et dit : « Eh bien, tout cela m'est familier ». Il est généralement difficile de calculer avec précision la familiarité d'un modèle avec les données, mais vous pouvez calculer les hauts et les bas relatifs entre un modèle et un modèle, ce qui consiste à comparer les résultats. Ensuite, nous montrons que plus vous ajoutez de couches de détecteurs de caractéristiques supplémentaires, plus le nouveau modèle se familiarise avec les données. (Remarque de l'AI Technology Review de Leifeng.com : pour les détails techniques spécifiques de cette partie, veuillez vous reporter à la conférence de Hinton sur les réseaux de croyances profondes au NIPS 2007 pdf)

Modérateur : C'était bien d'avoir une telle idée de modélisation en 2005. Quand votre modèle a-t-il commencé à produire de bons résultats ? Sur quelles données faites-vous l'expérience ?

Hinton : C'est un ensemble de données de chiffres manuscrits, très simple. À cette époque, les GPU (unités de calcul graphique) ont commencé à se développer rapidement et les personnes qui faisaient des réseaux de neurones ont commencé à utiliser des GPU vers 2007. J'avais un très bon élève à l'époque. Il utilisait le GPU pour trouver des routes sur des images aériennes. Une partie du code qu'il a écrit à l'époque a ensuite été utilisée dans la détection de phonèmes de la parole par d'autres étudiants, également à l'aide de GPU. Ce qu'ils faisaient à l'époque, c'était la pré-formation, l'ajout d'étiquettes après la pré-formation, puis la rétropropagation. Cette approche a non seulement produit un réseau de neurones profond et pré-formé, mais a également eu un bon résultat après rétropropagation. Il a vaincu de nombreux autres modèles dans le test de reconnaissance vocale à l'époque. L'ensemble de données est TIMIT, qui est petit, et notre modèle est un peu mieux que les meilleurs résultats du milieu universitaire à l'époque, et un peu mieux que ceux d'IBM. C'est le début, l'amélioration n'est pas grande.

Ensuite, d'autres ont rapidement réalisé qu'un peu plus de raffinement de cette approche pourrait donner d'excellents résultats, après que tous les modèles standard qu'elle a battus à l'époque ont mis 30 ans à le faire. Mes étudiants sont allés chez Microsoft, IBM, Google après l'obtention de leur diplôme, et Google a rapidement développé cette technologie en un système de reconnaissance vocale au niveau de la production. En 2009, il y a eu les premiers résultats, et en 2012, il est venu au système Android, et le système Android était très en avance sur la reconnaissance vocale.

Modérateur : A cette époque, vous aviez cette idée depuis 30 ans, et vous avez enfin obtenu un résultat qui est reconnu par le public, et c'est aussi mieux que d'autres chercheurs, comment vous sentez-vous ?

Hinton : Je suis vraiment heureux qu'il ait finalement atteint le stade de la résolution de problèmes pratiques.

Modérateur : Donc, après avoir découvert que les réseaux de neurones pouvaient bien résoudre les problèmes de reconnaissance vocale, quand avez-vous commencé à essayer de résoudre d'autres problèmes ?

Hinton : Eh bien, après cela, nous avons commencé à expérimenter cette approche sur divers problèmes. La première personne à utiliser les réseaux de neurones pour la reconnaissance vocale a été George Dahl, qui a ensuite utilisé les réseaux de neurones pour prédire si une molécule se connecterait à quelque chose et agirait comme une thérapie. Il y avait un concours pour le faire à l'époque, et il a juste utilisé des méthodes standard de reconnaissance vocale pour prédire l'activité des molécules de médicament, et vient de remporter le concours. C'est un signe très positif que l'approche des réseaux de neurones semble avoir un haut niveau de généralité. À ce moment-là, un de mes étudiants a déclaré: "Geoff, je pense que l'utilisation de cette méthode pour la reconnaissance d'images fonctionnera également bien, Li Feifei a également créé un ensemble de données approprié, et il y a un concours ouvert, nous devons l'essayer. ". Nous venons de participer et avons obtenu des résultats bien meilleurs que les méthodes de vision par ordinateur standard. (AlexNet a remporté la première place dans le 2012 ImageNet Visual Recognition Challenge ILSVRC de loin mieux que la deuxième place, l'équipe SuperVision dans l'image ci-dessous)

Modérateur : J'ai mentionné beaucoup de cas réussis, comme la modélisation de molécules chimiques, la parole, les images, etc. Y a-t-il des cas d'échec ?

Hinton : Les échecs sont temporaires, comprenez-vous ?

Modérateur : Alors, y a-t-il des domaines qui réussissent particulièrement bien rapidement et d'autres qui sont plus lents ? J'ai l'impression que les tâches essentielles des organes de perception humaine, telles que le traitement du signal visuel et le traitement du signal vocal, sont les premières à être conquises, n'est-ce pas ?

Hinton : Pas exactement, la perception l'a dépassé, mais il y avait aussi des choses comme le contrôle du mouvement qui ne s'amélioraient pas autant. Les humains ont un contrôle moteur très élevé et facile, et il est clair que notre cerveau est conçu pour le contrôle moteur. Ce n'est qu'aujourd'hui que les performances des réseaux de neurones dans le contrôle moteur ont commencé à rattraper les technologies précédentes. Les réseaux de neurones finiront par rattraper leur retard, mais de petites victoires ne font que commencer. Je pense que le raisonnement et la dérivation abstraite, les choses que les humains apprennent enfin à faire, seront aussi les choses les plus difficiles à apprendre pour les réseaux de neurones.

Modérateur : Vous dites toujours que les réseaux de neurones peuvent tout gérer finalement ? (rire)

Hinton : Eh bien, nous, les humains, sommes des réseaux de neurones. Tout ce que nous pouvons faire, un réseau de neurones peut le faire.

Modérateur : Oui, mais le cerveau humain n'est pas forcément la machine informatique la plus performante au monde. Existe-t-il des machines plus efficaces que le cerveau humain ?

Hinton : Philosophiquement, je ne suis pas contre l'idée qu'il existe une manière complètement différente de procéder. Par exemple, si vous commencez par la logique, vous essaierez d'étudier la logique automatique, et vous développerez des machines automatiques de démonstration de théorèmes particulièrement puissantes ; si vous commencez par le raisonnement, et ensuite vous voulez faire de la perception visuelle par le raisonnement, peut-être que cette méthode est faisable aussi. Cependant, ces méthodes n'ont finalement pas donné de bons résultats. Je ne suis pas philosophiquement opposé à d'autres façons de procéder. Ce n'est que maintenant que nous savons que le cerveau, c'est-à-dire le réseau de neurones, peut effectivement le faire.

Comprenons-nous les réseaux de neurones ? comprendre notre cerveau?

Modérateur : Maintenant, je veux poser une question sous un autre angle, c'est-à-dire que nous ne comprenons pas parfaitement le fonctionnement des réseaux de neurones, n'est-ce pas ?

Hinton : C'est vrai, nous ne savons pas vraiment comment fonctionnent les réseaux de neurones.

Modérateur : Il est difficile de raisonner sur le fonctionnement des réseaux de neurones à partir des résultats. C'est la clé de notre manque de compréhension des réseaux de neurones, n'est-ce pas ? Parlons-en en détail. Et évidemment j'ai la question suivante juste après : si nous ne savons pas comment ils fonctionnent, comment pouvons-nous obtenir de bons résultats lorsque nous les construisons ?

Hinton : Si vous regardez les systèmes de vision par ordinateur actuels, la plupart d'entre eux n'ont qu'une propagation vers l'avant et aucune connexion de rétroaction. Une autre caractéristique des systèmes de vision par ordinateur actuels est qu'ils sont très sensibles aux erreurs contradictoires. Par exemple, si vous avez une image d'un panda, après avoir légèrement modifié quelques pixels dedans, il nous semble toujours qu'il ressemble à un panda, mais l'ordinateur système de vision va Soudain, j'ai pensé que c'était une dinde. Évidemment, cette façon de modifier les pixels doit être soigneusement conçue, ce qui induit en erreur ou trompe le système de vision par ordinateur. Mais le fait est que c'est toujours un panda aux yeux des humains, non affecté.

Donc, au début, nous pensions que les systèmes de vision par ordinateur basés sur des réseaux neuronaux fonctionneraient plutôt bien, mais lorsque nous avons découvert que des modifications (attaques) contradictoires comme celle-ci pouvaient faire l'affaire, tout le monde a commencé à s'inquiéter un peu. Je pense qu'une partie de ce problème est due au fait que le réseau n'est pas capable de reconstruire à partir de représentations de haut niveau. Maintenant, certains chercheurs essaient de faire un apprentissage discriminatif, qui consiste à apprendre de nombreuses couches de détecteurs de caractéristiques, puis le but ultime est de modifier les poids des différents détecteurs de caractéristiques pour obtenir de meilleurs résultats. Récemment, notre équipe à Toronto a également fait quelques découvertes, Nick Frost a découvert que si vous introduisez un processus de reconstruction, cela rend le réseau plus stable contre les attaques adverses. Je pense donc que dans le système visuel humain, le processus d'apprentissage implique la reconstruction. Et nous, les humains, en plus de la vision, avons beaucoup de processus d'apprentissage avec la reconstruction, nous sommes donc beaucoup plus stables face aux attaques adverses.

Modérateur : En d'autres termes, pensez-vous que la connexion back-to-front dans le réseau de neurones peut vous aider à tester le processus de reconstruction des données ?

Hinton : Oui, je pense que c'est très important.

Modérateur : Alors, les spécialistes du cerveau ont-ils le même point de vue ?

Hinton : Les spécialistes du cerveau s'accordent tous à dire que si la voie de signalisation sensorielle passe par deux zones différentes du cortex cérébral, il doit y avoir une connexion inverse. Ils ne sont tout simplement pas d'accord sur le rôle de cette connexion. Son rôle peut être l'attention, il peut être pour l'apprentissage, il peut être pour la reconstruction, et il peut même être les trois.

Modérateur : Nous ne comprenons donc pas entièrement le rôle de la connexion inversée. Alors maintenant, vous voulez construire une connexion inverse dans le réseau qui joue un rôle de reconstruction, est-ce raisonnable de le faire ? Bien que vous disiez vouloir imiter le cerveau, vous n'êtes pas sûr que le cerveau soit vraiment comme ça.

Hinton : Je n'ai absolument aucune inquiétude à ce sujet. Après tout, je ne fais pas de neurosciences computationnelles et je n'essaie pas de trouver un bon modèle du fonctionnement du cerveau humain. Tout ce que je fais, c'est regarder le cerveau et dire : "Puisqu'il fonctionne bien, c'est là que nous pouvons chercher de l'inspiration lorsque nous voulons faire fonctionner quelque chose d'autre." Nous nous inspirons donc des neurosciences, de la science du cerveau, mais pas de la modélisation des nerfs cérébraux. L'ensemble de notre modèle de réseau neuronal, les neurones utilisés dans notre modèle, s'inspire des nerfs du cerveau humain : les neurones ont de nombreuses connexions, et ces connexions peuvent changer de poids.

Modérateur : Cela semble intéressant. Donc, si je fais aussi de l'informatique, j'étudie aussi les réseaux de neurones, et puis je veux faire mieux que Hinton, une option est de construire des connexions back-to-front basées sur d'autres modèles de science du cerveau, et cette fois je peux choisir pour le faire fonctionner pour l'apprentissage.

Hinton : Si cela conduit à de meilleurs modèles, alors vous avez vraiment une chance de réussir.

Modérateur : Sujet suivant, puisque nous avons dit que les réseaux de neurones peuvent résoudre divers problèmes, est-il possible que les réseaux de neurones captent et reproduisent les cerveaux humains, tels que les émotions...

Hinton : (l'interrompant directement) Impossible.

Animateur : Les réseaux de neurones peuvent-ils être utilisés pour reconstruire l'amour et la conscience ?

Hinton : C'est bien, tant que vous comprenez ce que ces choses signifient. Après tout, nous, les humains, sommes aussi des réseaux de neurones. La conscience est quelque chose qui m'intéresse particulièrement en ce moment, mais beaucoup de gens ne savent pas vraiment de quoi ils parlent quand ils disent le mot. Il existe de nombreuses définitions différentes de cette chose, et à mes yeux, cela devrait être un terme scientifique. Il y a 100 ans, si vous demandiez à quelqu'un ce qu'était la "vie", il aurait probablement répondu "il y a une force vitale active dans ce qui est vivant, et quand ils meurent, cette force vitale va avec. Donc la différence entre vivant et mort C'est juste s'il y a ce genre de vitalité. Maintenant qu'on ne parle pas de vitalité, on pense que c'est un concept pseudo-scientifique. Même après avoir étudié la biochimie et la biologie moléculaire, vous commencerez à réprimander la notion de force vitale, car vous comprenez déjà ce qu'est la vie. Je pense que notre compréhension de la "conscience" passe par le même processus. Le terme a déjà été proposé pour expliquer les phénomènes spirituels qui, selon nous, ont une signification importante. Mais une fois que nous comprenons vraiment ce qu'est la conscience, le contenu de cette "signification importante" n'a plus d'importance, nous pouvons clairement expliquer ce que faire les choses fait qu'une personne se sent "consciente" et pourquoi, être également capable d'expliquer toutes les différentes sens du mot.

Modérateur : Il n'y a donc aucune émotion qui ne puisse être créée, et aucune pensée qui ne puisse être créée. Tant que nous comprenons parfaitement le fonctionnement du cerveau, théoriquement, il n'y a rien que le cerveau humain puisse faire qui ne puisse être bien fait. réseau reproduit?

Hinton : Vous savez quoi, ce que vous venez de dire me rappelle une chanson de John Lennon, les paroles sont très similaires.

Modérateur : Avez-vous une confiance à 100 % en ces derniers ?

Hinton : Non, pas à 100 %. Je suis bayésien et je suis confiant à 99,9 %.

Modérateur : Eh bien, qu'en est-il des 0,1 % restants ?

Hinton : Il est possible que notre monde entier soit un grand simulateur, et rien de tout cela n'est vrai.

Modérateur : Ce n'est pas impossible. Ainsi, grâce à vos recherches en informatique, avons-nous découvert quelque chose de nouveau sur le cerveau ?

Hinton : Je pense que ce que nous avons appris au cours de la dernière décennie, c'est que si vous avez un système avec des centaines de millions de paramètres et une fonction objective, comme cloze, il peut fonctionner mieux qu'il n'y paraît, c'est bien mieux.

La plupart des gens qui font de l'IA traditionnelle penseront, ou même une personne ordinaire pensera que pour un système avec des milliards de paramètres, il faut partir de l'état initial où tous les paramètres sont des valeurs aléatoires, calculer le gradient de la fonction objectif, et puis modifiez ces paramètres un par un. Avec des milliards de paramètres, laissez la valeur de la fonction objectif aller un peu dans une meilleure direction, et cela doit être fait tour par tour. C'est trop de travail, et il n'y a aucun espoir Il est très probable qu'il soit à mi-chemin. Mais c'est en fait un bon algorithme, et plus l'échelle est grande, mieux cela fonctionne. Ceci est entièrement dérivé de notre expérience. Maintenant que nous avons découvert une telle règle, il est beaucoup plus facile d'accepter que le cerveau humain calcule également le gradient d'une fonction objective, puis met à jour la force de propagation du signal électrique neuronal en fonction du gradient. Nous avons juste besoin de comprendre comment le processus est décomposé en étapes et quelle est cette fonction objectif.

Modérateur : Mais notre compréhension du cerveau n'en est pas encore là ? Nous ne comprenons toujours pas le processus de modification des poids ?

Hinton : C'est une théorie. Il y a longtemps que les gens pensaient que c'était possible, mais il y aura toujours un informaticien traditionnel qui insistera "Cela semble magnifique, mais vous dites que vous avez des milliards de paramètres avec des valeurs initiales aléatoires, et ils passent tous par une descente de gradient. Apprendre, ça ne se fait pas, il faut y mettre des connaissances. » Maintenant, nous pouvons leur prouver le contraire, il suffit de commencer avec des paramètres aléatoires et de tout apprendre.

Modérateur : Développons un peu. En supposant que nous concevons des modèles basés sur la façon dont nous pensons que le cerveau fonctionne, puis que nous les testons à grande échelle, nous avons de bonnes chances d'en apprendre de plus en plus sur la façon dont le cerveau fonctionne réellement. Y aura-t-il un jour un jour où nous pourrons réellement modifier nos cerveaux pour en faire des machines informatiques plus efficaces et efficaces ?

Hinton : Si nous pouvons vraiment comprendre, nous pouvons mieux faire des choses comme l'éducation. Je crois que cela arrivera. C'est une chose étrange si vous pouvez comprendre ce qui se passe dans votre cerveau, mais vous ne pouvez pas l'ajuster pour mieux l'adapter à votre environnement.

L'apprentissage automatique "rêve" aussi

Modérateur : Peut-on mieux comprendre les rêves ?

Hinton : Je pense que oui, je m'intéresse tellement aux rêves moi-même que je connais au moins quatre théories sur les rêves.

Modérateur : Parlez-en à tout le monde.

Hinton : Le premier a une longue histoire. Il y a longtemps, il y avait quelque chose appelé un réseau Hopfield qui pouvait apprendre la mémoire en tant qu'attracteur local. Ce type, Hopfield, a découvert que si vous essayez d'y mettre trop de souvenirs, ils deviennent confus. Cela fera fusionner les deux attracteurs locaux en un seul quelque part au milieu.

Il y a Francis Crick et Graeme Mitchison qui disent que vous pouvez désapprendre pour éviter les faux minima locaux. Ensuite, nous désactivons l'entrée du réseau, définissons d'abord le réseau de neurones dans un état aléatoire, puis attendons qu'il s'arrête, nous sentirons que le résultat n'est pas bon, puis ajustons la connexion réseau pour qu'elle ne s'arrête pas dans cet état. Après avoir fait cela plusieurs fois, il peut stocker plus de souvenirs.

Ensuite, il est venu à moi et à Terry Sejnowski. Nous avons pensé qu'il n'y a pas que des neurones qui stockent des souvenirs, mais aussi de nombreux neurones qui jouent d'autres rôles. Pouvons-nous concevoir un algorithme qui permette à d'autres neurones d'aider également à restaurer des souvenirs ? Plus tard, nous avons développé la machine de Boltzmann en apprentissage automatique, qui a une propriété très intéressante : montrez-lui des données, elle continuera à se promener dans d'autres unités jusqu'à ce qu'elle obtienne un état satisfaisant ; une fois qu'elle le fait, elle augmente le poids de toutes les connexions en fonction de si les deux unités sont actives. Il y a une étape ici, et vous devez couper entre elle et l'entrée. Vous le laissez errer jusqu'à un état avec lequel il se sent à l'aise, puis vous le laissez trouver toutes les paires de neurones qui sont actives et affaiblissent les connexions entre eux.

L'algorithme que je vous explique ici semble être un processus intéressant, mais en fait l'algorithme est le résultat de recherches mathématiques, on réfléchit à "comment changer la façon dont ces connexions sont faites pour que le réseau de neurones avec des couches cachées puisse se sentir que les données sont très importantes. familier". Et il doit avoir une autre phase, nous l'appelons l'état négatif, qui consiste à le laisser fonctionner sans entrée, puis à oublier l'état dans lequel il se trouve.

Nous, les humains, dormons plusieurs heures chaque jour. Si vous vous réveillez au hasard, vous pouvez dire quel rêve vous étiez en train de faire car la mémoire du rêve est stockée dans la mémoire à court terme. Si vous vous réveillez après avoir suffisamment dormi, vous ne pouvez vous souvenir que du dernier rêve, pas des précédents. C'est en fait une bonne chose, afin de ne pas confondre les rêves avec la réalité. Alors pourquoi ne pouvons-nous pas nous souvenir de nos rêves ? Le point de Crick est que le but du rêve est d'oublier beaucoup de choses. C'est comme l'inverse de l'apprentissage.

Et Terry Sejnowski et moi avons montré qu'il s'agit en fait d'un processus d'apprentissage par maximum de vraisemblance pour une machine de Boltzmann. C'est aussi une théorie du rêve.

Modérateur : Avez-vous déjà créé un algorithme d'apprentissage en profondeur comme celui-ci ? Apprenez un ensemble de données d'image, puis oubliez, apprenez à nouveau, etc.

Hinton : Oui. Nous avons essayé des algorithmes d'apprentissage automatique. Les machines Boltzmann ont été parmi les premiers algorithmes que nous avons découverts qui pouvaient apprendre à gérer les neurones cachés, mais ils étaient très inefficaces. Plus tard, j'ai trouvé un moyen de les approximer, ce qui est beaucoup plus efficace. Ce sont en fait des opportunités de redonner vie à l'apprentissage en profondeur, c'est-à-dire qu'avec ces méthodes, je peux apprendre une couche de détecteurs de caractéristiques à la fois. C'est une forme efficace de machine de Boltzmann restreinte. Il peut aussi faire oublier. Il n'a pas besoin de dormir, il a juste besoin de méditer pendant un moment après avoir examiné chaque point de données.

Modérateur : Qu'en est-il de la deuxième théorie ?

Hinton : La deuxième théorie s'appelle l'algorithme Wake Sleep, et vous allez vouloir apprendre un modèle génératif. L'idée ici est que vous avez un modèle qui peut générer des données, il a beaucoup de couches de détecteurs de caractéristiques, il s'active à partir de la couche supérieure et fonctionne jusqu'à la couche de pixels, et vous obtenez une image. Vous pouvez aussi le faire dans l'autre sens, c'est-à-dire reconnaître une image.

De cette façon, votre algorithme aura deux phases, dans la phase d'éveil, les données arrivent et le modèle essaie de reconnaître les données ; mais le but de l'apprentissage du modèle à ce moment n'est pas de renforcer la connexion pour la reconnaissance, mais de renforcer la connexion pour la génération. Au fur et à mesure que les données arrivent, les neurones de la couche cachée sont activés, ce qui permet ensuite aux neurones d'apprendre à mieux reconstruire les données. Chaque couche apprend à se reconstruire. Mais la question est, comment apprendre les jointures en avant de cette manière ? L'idée est que si vous connaissez déjà la connexion directe, vous pouvez apprendre la connexion inverse car vous pouvez apprendre la reconstruction.

Maintenant, nous avons également découvert qu'il peut utiliser des connexions inverses, vous pouvez apprendre les connexions inverses, car vous pouvez directement démarrer l'activation à partir de la couche supérieure, puis générer des données. Et parce que vous générez des données, vous connaissez les états d'activation des neurones cachés et vous pouvez apprendre les connexions directes pour restaurer ces états. C'est la phase de sommeil. Lorsque vous désactivez l'entrée, vous générez simplement des données, puis vous essayez de reconstruire l'état de ces neurones cachés qui ont généré les données. De plus, si vous connaissez les liens descendants, vous pouvez apprendre les liens ascendants ; et vice versa. Donc, si vous commencez avec des connexions aléatoires et alternez entre les deux choses, cela fonctionne. Bien sûr, vous devrez y apporter diverses modifications pour le faire fonctionner, mais c'est faisable.

Modérateur : emmm, nous avons encore 8 minutes, allez-vous continuer à parler des deux autres théories ? Dans ce cas, nous sauterons les dernières questions.

Hinton : Les deux autres théories pourraient prendre une heure.

Les gélules sont une bonne idée, mais aussi une erreur

Modérateur : Alors continuons à demander. Quel genre de recherche faites-vous maintenant? Quels problèmes essayez-vous de résoudre?

Hinton : En fin de compte, nous voulons tous faire de la recherche qui n'a jamais été faite auparavant. Il y a une chose dans ma recherche qui, je pense, ne finira jamais, et ce sont les capsules, qui sont ma théorie de la perception visuelle par la reconstruction, et la théorie de l'acheminement de l'information au bon endroit. Dans un réseau neuronal standard, l'information, c'est-à-dire l'activité des neurones dans chaque couche, va automatiquement, et vous ne pouvez pas décider où vous voulez que l'information aille. L'idée de la capsule est de décider où envoyer l'information. Actuellement, depuis que j'ai commencé à travailler sur des capsules, d'autres collègues très intelligents de Google ont créé des modèles Transformer qui font la même chose. Ils décident tous où envoyer les informations, ce qui est une grande amélioration.

Une autre chose qui m'a inspiré pour faire des capsules est le cadre de coordonnées. Lorsque les humains font de la perception visuelle, nous utilisons tous des cadres de coordonnées. Si un humain assume le mauvais cadre de coordonnées sur un objet, il ne reconnaîtra pas cet objet.

Vous faites une petite tâche pour vous en faire une idée : imaginez un tétraèdre régulier dont la base est un triangle, puis a trois côtés triangulaires, et les quatre côtés sont des triangles congruents. C'est facile à imaginer, non ? Imaginez ensuite le couper avec une surface plane pour obtenir une section carrée. Couper est facile, mais obtenir une section carrée est plus difficile. Chaque fois que vous essayez de couper, vous obtenez une section triangulaire.

Il semble difficile de voir comment cette section carrée est découpée. Permettez-moi donc de décrire le même objet d'une autre manière. Je vais faire un trait avec votre stylo, un stylo au-dessus et un stylo en dessous, les imaginer verticalement dans l'espace, et relier tous les points du stylo supérieur à tous les points du stylo inférieur. De cette façon, vous obtenez un tétraèdre. Examinons maintenant la relation entre ce tétraèdre et le cadre de coordonnées. Le côté supérieur est parallèle à un axe de coordonnées et le côté inférieur est parallèle à l'autre axe de coordonnées. Ensuite, quand vous le regardez comme ça, il est facile de voir comment découper un rectangle et de trouver un carré quelque part au milieu. Mais nous ne pouvons le voir que si nous pensons dans ce cadre de coordonnées.

C'est évident pour les humains, mais le cadre de coordonnées est vraiment important pour l'ensemble de la perception.

Modérateur : Y a-t-il une différence entre l'ajout d'un cadre de coordonnées au modèle et ce que vous avez fait dans les années 1990 pour intégrer les règles dans le modèle et qui s'est avéré être une erreur ? Cela ne signifie-t-il pas rendre le système non supervisé ?

Hinton : Oui, c'est la même erreur. Juste parce que je suis à peu près sûr que c'est une grave erreur, je ne peux qu'en ajouter un peu plus, et c'est un peu une évidence. Cela a également rendu ma propre situation un peu embarrassante.

Modérateur : Votre recherche actuelle est-elle spécifique à la reconnaissance visuelle, ou avez-vous d'abord pensé au cadre de coordonnées, puis essayé de le rendre plus général ?

Hinton : Il peut également être utilisé dans d'autres tâches, mais je suis particulièrement intéressé par les applications en reconnaissance visuelle.

Modérateur : L'apprentissage en profondeur était autrefois très unique, mais il semble maintenant être synonyme d'IA dans une large mesure ; en même temps, l'IA est également devenue un mot avec une forte signification marketing, et les personnes qui utilisent n'importe quelle machine ou algorithme aussi dire qu'ils l'ont utilisé. Comment vous sentez-vous en tant que personne qui a développé ces technologies et contribué à ce statu quo ?

Hinton : J'étais beaucoup plus heureux lorsque l'IA signifiait simplement des systèmes informatiques basés sur la logique qui manipulent des symboles ; les réseaux de neurones à l'époque signifiaient également que vous pouviez apprendre avec des réseaux de neurones. Il y a beaucoup d'entreprises maintenant qui n'aiment pas ça et qui ne se soucient que de l'argent. J'ai grandi dans un tel environnement. Maintenant, je vois même certaines personnes qui disaient que les réseaux de neurones étaient des ordures depuis de nombreuses années commencent à dire "Je suis professeur d'IA, alors s'il vous plaît, accordez-moi un financement". Vraiment énervant.

Modérateur : Votre domaine de recherche a décollé, et il a un peu le goût d'avaler d'autres domaines, ce qui leur donne une raison de demander de l'argent, ce qui est un peu frustrant.

Hinton : Ce n'est pas tout à fait injuste, cependant, beaucoup de gens ont modifié leur façon de penser.

Modérateur : Dernière question, vous avez dit un jour dans une interview que l'IA peut être comme un trou noir, et si vous ne la construisez pas de la bonne façon, elle peut vous ronger. Alors, comment éviter de le rendre nuisible ou même un trou noir dans vos recherches ?

Hinton : Je ne ferais jamais d'IA intentionnellement pour causer du tort. Bien sûr, si vous concevez un trou noir capable de manger la tête des autres, c'est une très mauvaise chose, et je ne ferai pas de telles recherches.

Modérateur : D'accord. Nous avons eu une excellente conversation aujourd'hui, merci d'en avoir dit autant. Peut-être que l'année prochaine nous passerons aux troisième et quatrième théories sur les rêves.

Voir la vidéo complète sur https://www.youtube.com/watch?v=UTfQwTuri8Y. Compilé par Lei Feng.com AI Technology Review.