Heure locale le 23 Juin, cette année ACM Turing Award vainqueur du « Big Three apprentissage en profondeur » dans Geoffrey Hinton, Yann discours LeCun à l'ACM FCRC 2019, ont partagé leur dernière pensée pour la profondeur de l'apprentissage.
conférence Geoffrey Hinton intitulé « révolution de l'apprentissage en profondeur. » Il a dit que maintenant, il y a deux exemples typiques de l'intelligence artificielle. Le premier est inspiré par les années 1950, basé sur la logique de l'intelligence, alors, est l'essence même de l'utilisation intelligente des symboles pour faire une des règles d'expression symbolique. Cette approche se concentre sur le raisonnement, se concentrant principalement sur la façon de résoudre un ordinateur comme un être humain peut réagir selon le raisonnement. La seconde est basée sur l'intelligence artificielle bio-inspirée. Il représente l'essence de l'intelligence est d'apprendre les avantages de la liaison des réseaux de neurones. Cette approche est axée sur l'apprentissage et la perception.
(Source: Geoffrey Hinton)
Dans cette optique, l'intelligence artificielle, ces deux exemples sont très différents, mais, compte tenu de leur représentation interne (représentations internes) aspect n'est pas la même chose.
(Source: Geoffrey Hinton)
l'intelligence artificielle basée sur la logique, qui représentations internes sont des représentations symboliques. Les programmeurs peuvent utiliser les symboles de langage clair dans un ordinateur, un ordinateur pour faire le symbole existant est représenté par l'application d'une nouvelle règle. L'intelligence artificielle de bio, rien de sa représentation interne à voir avec la langue. Ils sont comme l'activité neuronale, remplie d'un grand nombre de vecteurs, ces vecteurs sont l'apprentissage directement dérivées des données, mais elle a aussi un effet de cause à effet direct sur l'activité neuronale.
De cette façon, générer deux types d'ordinateurs pour effectuer des tâches.
La première est la programmation (programmation), Hinton appelle également la conception intelligente (intelligent design). Lors de la programmation, le programmeur doit penser clairement les étapes de la méthode des tâches de traitement, il a besoin de faire est calculé avec précision et est entré dans l'ordinateur tous les détails, puis laissez l'ordinateur pour le faire.
La seconde est d'apprendre, alors seulement besoin de fournir un exemple d'un grand nombre d'entrée et de sortie de l'ordinateur, ce qui permet à l'ordinateur d'apprendre à l'entrée et sortie lien, la cartographie sur une sortie basée sur l'entrée. Bien sûr, cela exige également la programmation, mais l'utilisation d'une procédure simplifiée est processus d'apprentissage commun.
Cinquante ans, les humains ont essayé de faire l'intelligence artificielle de symbolique (AI symbolique) pour réaliser la fonction « plug-parler ». Pour cette tâche, les humains ont essayé deux façons depuis longtemps, et enfin le réseau de neurones achevé avec succès cette tâche, la méthode de réseau de neurones est l'apprentissage pur.
(Source: Geoffrey Hinton)
Le problème de base de réseaux de neurones: Hinton
Cela conduit à la question fondamentale des réseaux de neurones: contient des millions de poids et multi-paramètres non linéaires réseau de neurones à grande échelle des neurones est un dispositif informatique très puissant, le réseau de neurones peut démarrer directement à partir du poids paramètre aléatoire, et à partir des données de formation obtenir toutes les connaissances, afin d'apprendre à accomplir une tâche difficile (comme la reconnaissance d'objets ou de traduction de la machine) elle?
Ensuite, Hinton a examiné les résultats des efforts précédents.
(Source: Geoffrey Hinton)
Comment les réseaux de neurones fonctionnent-il? Hinton a fait une brève introduction.
(Source: Geoffrey Hinton)
Les chercheurs ont d'abord d'un vrai neurone fait une idéalisation grossière, de sorte que vous pouvez étudier comment les neurones coopèrent pour compléter les très difficiles à calculer.
Par un grand nombre de noeuds de réseau de neurones (ou neurone) formé entre mutuellement couplés. Chaque noeud représente une fonction de sortie particulière appelée activation function (fonction d'activation). Chaque connexion entre deux noeuds représente une valeur pondérée du signal de connexion, appelé poids, ce qui équivaut à la mémoire ANN. La sortie du réseau par une connexion réseau, une valeur de poids différents et différentes fonctions d'excitation. Le réseau lui-même est généralement une sorte de nature ou d'un algorithme d'approximation de la fonction, ils peuvent être l'expression d'une stratégie logique.
(Source: Geoffrey Hinton)
Alors, comment former le do réseau de neurones? Hinton croit est divisé en deux méthodes, qui sont la formation et de la formation supervisée sans supervision.
Encadrement et formation: un vecteur d'entrée à l'exposition du réseau, et lui dire à la sortie correcte, en ajustant les poids pour réduire la différence entre la sortie correcte et la sortie réelle.
un apprentissage non supervisé: entrée uniquement pour le réseau en ajustant les poids, mieux cachés de l'activité des neurones dans la reconstruction de l'entrée (ou la section d'entrée), la sortie finale est produit.
Parmi eux, l'apprentissage supervisé est une bonne compréhension des méthodes de formation, mais la méthode inefficace de « mutation » qu'il utilise.
(Source: Geoffrey Hinton)
En revanche, rétropropagation (algorithme de rétropropagation) pour calculer à quel point les changements de poids affectent une méthode efficace de sortie mal. Il n'est pas le temps de mesurer l'effet de la perturbation et du poids, mais l'utilisation du calcul alors que tous les poids calculés gradient d'erreur. Quand il y a un million de poids méthode de propagation de retour mutation efficacité supérieure à un million de fois.
(Source: Geoffrey Hinton)
Cependant, le développement de l'algorithme de rétropropagation, mais pas satisfaisant.
Dans les années 1990, bien que l'effet de l'algorithme de rétro-propagation est assez bonne, mais n'a pas atteint les gens attendus, réseau de formation en profondeur est encore très difficile, sur des ensembles de données moyennes, certaines des autres méthodes d'apprentissage machine que même anti plus efficace de se propager.
(Source: Yann LeCun)
chercheurs symboliques intelligence artificielle a dit, veulent apprendre la tâche difficile est stupide dans un grand réseaux de neurones profonds parce que ces réseaux d'une connexion aléatoire, et il n'y a pas une connaissance a priori.
Ainsi, l'expérience d'apprentissage profond pendant un certain temps « hiver », après 2012, les gens ont réalisé la profondeur de l'apprentissage est utile, l'apprentissage en profondeur que le grand nombre d'applications. Par exemple, la reconnaissance de l'image et la traduction automatique.
Enfin, Hinton a parlé de la vision de l'avenir du réseau de neurones. Hinton croit que presque tous les réseaux de neurones artificiels en utilisant seulement deux échelles de temps: l'évolution rapide des poids adapter lentement et l'activité nerveuse. Synapses peuvent être adaptés à plusieurs échelles de temps différentes pour la mémoire à court terme (mémoire à court terme) pour s'adapter poids rapide (poids rapide) va améliorer le réseau de neurones.
Yann LeCun: l'avenir réside dans l'apprentissage supervisé
Yann LeCun alors dit dans son discours, l'effet d'apprentissage bien supervisé lorsque la grande quantité de données, vous pouvez faire la reconnaissance vocale, reconnaissance d'image, reconnaissance des visages, des propriétés de construction de l'image, la traduction automatique.
Si vous avez des architectures de réseaux de neurones spéciaux, tels que ceux qui l'architecture proposée des années quatre-vingt du siècle dernier et nonante, sera en mesure de reconnaître le texte écrit à la main, et cela a fonctionné, aux fin des années 1990, Yann LeCun chez Bell Labs la recherche et le développement de ces système d'identification d'entreprendre les travaux de 10% à 20% du texte manuscrit de la nation, non seulement sur le plan technique, mais aussi dans les affaires ont été couronnées de succès.
(Source: Yann LeCun)
Plus tard, une fois presque abandonné l'ensemble du réseau de neurones académique. Ceci est en partie à cause du manque de grandes bases de données, et une raison à ce moment-là à un logiciel d'écriture trop complexe et nécessite un investissement important, d'autre part, lorsque la vitesse de l'ordinateur n'est pas assez rapide pour exécuter d'autres applications.
Circonvolution réseau de neurones est en fait inspiré par beaucoup de la biologie, mais il n'est pas copié la biologie. Yann LeCun inspiré des idées et des résultats de la recherche biologique, il a constaté que peut tirer profit du réseau de neurones rétropropagation est formé pour mettre en uvre ces phénomènes. Convolution est un réseau de concept, le monde de l'objet est constitué par une partie respective, qui est constitué par plusieurs parties d'un motif, et le motif est une combinaison du matériau de base et un bord, le bord est constitué par la distribution des pixels. Si le système est capable de détecter une combinaison utile de pixel, et ensuite tourner vers le bord du motif, et enfin à la partie respective de l'objet, qui est un système de reconnaissance de la cible. Cela vaut non seulement une identification visuelle, mais aussi pour la voix, le texte et d'autres signaux naturels. Nous pouvons utiliser le réseau de convolution de reconnaissance faciale, route de reconnaissance des piétons.
Dans les années 1990 à environ 2010, il y a eu une période de soi-disant « AI hiver », mais comme Yann LeCun ces personnes encore a continué ses recherches. Ils ont continué la reconnaissance, la détection des piétons et d'autres recherches. Ils seront également utilisés dans la technologie de robot d'apprentissage machine, le réseau marque automatiquement les images entières de convolution, chaque pixel sera marqué comme « peut » ou « ne peut pas » passer à travers, un robot de guidage vers l'avant.
(Source: Yann LeCun)
Quelques années plus tard, ils utilisent un système similaire pour compléter la tâche de segmentation cible, le système peut réaliser le déploiement VGA en temps réel, pour chaque pixel sur la segmentation d'image. Le système peut détecter les piétons, les routes, les arbres, mais ce résultat n'a pas été immédiatement reconnu par Computer Vision Institute.
Circonvolution réseaux de neurones au cours des dernières années, il existe de nombreuses applications, telles que l'imagerie médicale, le pilote automatique, la traduction automatique, ainsi que des jeux et d'autres domaines. Circonvolution réseau de neurones nécessite beaucoup de formation. Cependant, ce test est répété de façon massive dans la réalité est impossible. Par exemple, vous voulez enseigner une conduite automatique des véhicules apprendre à conduire, donc la formation de répétition dans le monde réel ne suffit pas. l'apprentissage de renforcement pur ne peut demander au monde virtuel.
Pourquoi, alors, les humains et les animaux peuvent apprendre la vitesse si rapide?
Et le système de pilote automatique est différent est que les êtres humains peuvent construire des modèles réels de manière intuitive, afin de ne pas conduire une falaise. Il est humain de maîtriser le modèle interne, l'être humain est d'apprendre comment ce modèle? Et apprendre à faire modéliser la machine, il?
Les animaux il existe des mécanismes similaires. Les prévisions font partie intégrante du processus de renseignement lorsque la variance réelle et la prévision est en fait l'apprentissage.
Pour prédire le contenu vidéo, par exemple, un morceau donné de données vidéo, à partir de laquelle la pièce des besoins de contenu vidéo aux prédictions d'une autre section de l'espace. scénario typique d'auto-apprentissage supervisé n'est pas annoncé à l'avance pour libérer un morceau de contenu qui, en fait, ne pas vraiment vide à gauche, juste laisser le système de reconstruire l'entrée en fonction de certaines restrictions. Le seul système pour terminer la tâche en observant, sans interaction externe, l'efficacité de l'enseignement supérieur.
L'avenir de l'apprentissage de la machine est auto-apprentissage supervisé et semi-supervisé, plutôt que l'apprentissage pur supervisé et l'apprentissage de renforcement. Depuis l'apprentissage supervisé vous suffit de remplir le vide, il a réalisé un bon travail de la PNL, mais la reconnaissance de l'image et l'exécution des tâches de compréhension en général. En effet, le monde est pas tous prévisibles. Pour la tâche de prédiction vidéo, les résultats peuvent avoir plusieurs possible de prédire les résultats du système de formation ont été mis tendance à obtenir que des résultats « vague », que les résultats de tous les futurs « moyenne ». Ce n'est pas une prévision idéale.
Enfin, Yann LeCun dit que pendant des siècles, a avancé la théorie est souvent accompagnée de grandes inventions et créations après. Qu'est-ce que l'étude approfondie intelligente et théorique apportera à l'avenir? Nous devons attendre et voir.
(Source: Yann LeCun)
