AI Technology Review par: Hier est sans aucun doute une journée excitante, la communauté d'apprentissage en profondeur de trois kick « géant » off pour obtenir l'honneur de l'industrie informatique le plus élevé, « Prix Turing », là encore féliciter Yoshua Bengio, Yann LeCun et Geoffrey Hinton!

En ce qui concerne les raisons de cette année les prix de, président de l'Association for Computing Machinery Cherri M. Pancake a déclaré dans un communiqué: « Le développement de l'intelligence artificielle et la prospérité, en grande partie grâce à Bengio, Hinton et LeCun qui pour jeter les bases de l'apprentissage en profondeur les derniers développements. ces techniques sont utilisées des milliards de personnes. aussi longtemps que les gens ont maintenant les téléphones intelligents peuvent réellement l'expérience des progrès dans le traitement du langage naturel et la vision informatique, et de l'expérience dans ces 10 ans il y a n'a pas osé penser Je pense. "

Cependant, après avoir remporté l'annonce, il a également été élu comme la « Perle de la » sensation de mal sur les médias sociaux, ils pensent qu'il ya un groupe de personnes, bien que peu connu, pour le développement de la recherche en IA a fait pas moins de la contribution des trois géants.

Père récurrent des réseaux de neurones --Jürgen Schmidhuber

Jürgen Schmidhuber Laboratoire suisse d'intelligence artificielle (IDSIA) Directeur R & D, LSTM (réseau de mémoire à court et à long terme), il a inventé une solution efficace au problème de la mémoire du système d'intelligence artificielle.

Après le prix a été annoncé hier, sa voix très bien sentir mal, certaines personnes pensent moins « étude approfondie » de son assez finalement réussi.

Poussez verres de sens riche d'expression ......

Une célèbre bataille de LSTM

Pour en savoir LSTM, a dû commencer à partir du réseau de neurones récurrents (Recurrent Neural Network, RNN) commencer.

RNN est un réseau neural pour traiter les données de séquence, par rapport au réseau de neurones en général, mieux à la séquence de données variables de traitement (par exemple un sens différent d'un mot parce que le contenu mentionné ci-dessus ont des significations différentes ) Toutefois, il est aussi des lacunes techniques évidentes, dont l'un est le gradient disparaît:

modèle RNN certaines valeurs, particulièrement faible gradient (presque 0). Cela signifie également que, si le taux d'étude cas-témoin inchangé, ou paramètres inchangés (en savoir quoi que ce soit), ou de changer de manière significative (résultats d'apprentissage réinventer la roue).

Par conséquent RNN difficile de montrer la couleur sur l'étude des paramètres.

Le LSTM RNN peut être comprise comme une version améliorée de sa structure naturelle peut résoudre le problème gradient disparaître. Son intérieur peut être divisé en trois étapes:

Oubliez étape

L'étage principal se trouve sur un noeud passé en entrée sélectivement oublier. Il est tout simplement « oubliera pas important, important de se rappeler. »

- par une dite « couche de grille oublié » composition de couche Sigmod. Ht-1 entrées et qui xt, et délivre alors un nombre compris entre 0 et 1 à chaque état de neurones élément Ct-1. « 1 » signifie « conserver complètement ce », « 0 » signifie « complètement oublié cela. »

Sélectionnez la scène de la mémoire

Cette phase entrera ce stade, il est sélectivement « mémoire ». Quels sont les principaux axes ont été enregistrées, ce qui est pas important, rappelez-vous certains des moins.

- Tout d'abord, on est appelé « couche de grille d'entrée » couche Sigmod détermine la valeur que nous voulons mettre à jour. Ensuite, une couche de tanh générer une nouvelle valeurs candidates, Ct ~, il est ajouté aux états de neurones.

Etage de sortie

Cette phase déterminera qui sera sortie comme l'état actuel.

- Tout d'abord, nous utilisons la couche Sigmod détermine quelle partie des états de neurones à sortir, puis nous laissons les états de neurones par tanh (de sorte que les changements de valeur de sortie entre -1 à 1) couche et le seuil multiplié par la sortie Sigmod, nous nous voulons sortie la sortie.

Jürgen Schmidhuber a mis cette formation de l'intelligence artificielle par rapport au cerveau humain grand temps de filtrage mémoire de plus en plus, et que la manière plus habituelle des souvenirs disparaissent. « LSTM peut apprendre des choses importantes dans la mémoire, en ignorant les choses sans importance. Dans le monde d'aujourd'hui, LSTM bien sur de nombreuses performances choses très importantes, notamment la reconnaissance vocale et la traduction, ainsi que l'image sous-titres, vous pouvez voir une image là-bas, vous pouvez écrire les mots peuvent expliquer ce que vous voyez quelque chose. « il a dit la route.

La réalité, comme Jürgen Schmidhuber a dit, LSTM vraiment assez bon, donc si elle est Apple, Google, Microsoft, Facebook ou Amazon ont adopté LSTM dans leur propre entreprise - Application Facebook LSTM 4,5 milliards de fois par jour à la traduction complète, Google 29% centre de données capacité de calcul à l'utilisation LSTM (CNN seulement 5%), LSTM non seulement d'améliorer de près d'un milliard de téléphones mobiles dans la fonction iPhone Siri QuickType, plus de deux milliards de plus les téléphones Android soutiennent la reconnaissance vocale, LSTM ou Amazon et Alexa noyau Google de reconnaissance vocale.

LSTM grand succès, conduisant à une utilisation ultérieure chaque fois que quelqu'un a mentionné lorsque RNN a obtenu des résultats remarquables, la valeur par défaut sera crédit LSTM.

rêve universel de l'intelligence artificielle

Cependant, Jürgen Schmidhuber LSTM pas satisfait du succès de sa destination finale est l'AGI (intelligence artificielle générique).

Deux ans réseau Lei Feng il y a accepté AI technologie entrevue examen, Jürgen Schmidhuber a clairement indiqué qu'il a une « conscience commerciale est pas très large, mais il est une recherche très importante » - auto-apprentissage comment faire la machine avec des capacités plus intelligentes. En 1987, il a été l'un du papier, il décrit en détail la méta-apprentissage (Meta apprentissage, ou appelé Apprendre à apprendre) sur un projet de recherche spécifique qui apprennent non seulement comment résoudre les problèmes, et apprendre à améliorer leur propre algorithme d'apprentissage, L'auto-apprentissage récursif finissent par devenir super intelligence artificielle. Mais cette vision est des capacités de calcul limitées ne peut pas entrer pleinement vérifiée.

Derrière convaincu que AGI sera en mesure de réaliser, il est convaincu que le concept de « Nous vivons dans une matrice de simulation informatique » de. « Ce que je pense, parce que c'est l'explication la plus simple de toutes choses. » Sa théorie selon laquelle ensemble OUTSET humaine de continuer à poursuivre les progrès et continuera à créer des ordinateurs plus puissants, jusqu'à ce que nous nous permettons de devenir lorsque les machines trop intelligents ou décider de fusionner jusqu'à présent.

A cet effet, Schmidhuber avait prédit: « Soit vous devenir quelque chose de différent d'un être humain réel, ou vous des raisons nostalgiques existent toujours en tant qu'être humain, mais vous ne serez pas un décideur important, vous ne serez pas. dans le processus de façonner le monde à jouer un rôle ".

controverse

Dans le processus d'accès à l'information, vous trouverez « l'arrogance » de Jürgen Schmidhuber partout.

Un jeune homme, il a été l'expérience d'écrire une colonne « admission post-doctorale de déchets Caltech avis » des jeunes universitaires dans l'histoire académique. Conférence 2016 Neural Information Processing Systems, l'a interrogé sur place « confrontation réseau généré » de Ian Goodfellow est une copie de son étude en 1992. Plus tard, il a ouvert avec tous les messages de haine chefs de renseignement artificielle du conseil dans le magazine « Nature », les accusant de déformer l'histoire de l'intelligence artificielle, il essuyait son idée originale et d'autres.

Des chercheurs de l'Université de l'Alberta Kory Mathewson dit, et le conflit Jürgen Schmidhuber même devenir une sorte de « cérémonie potentiellement, » certains jeunes chercheurs d'Amnesty International semblent encore avant d'être un jour en mesure d'obtenir ce « traitement ». Mais pour certains chercheurs chevronnés qui, Jürgen Schmidhuber pourrait être gênant la présence, comme il est souvent considéré que « » porter plainte « faux », « égoïste », « trop l'accent sur la théorie de la valeur. »

À cet égard, il colle toujours à leur point de vue. « Chaque fois que je vois quelqu'un faire quelque chose d'important, mais il n'a pas reconnu se, mais il était une autre personne a dit cette chose à faire d'abord, je suis le premier à transmettre cette information à la » Nature « magazine. » science « magazine sur les personnes ou les autres journaux. vous pouvez prouver que le temps le contexte de savoir qui doit faire quoi. moins qu'on puisse dire, tout le reste de la recréation, pour le dire crûment, c'est le plagiat. »

Par conséquent, beaucoup de gens soupçonnent que c'est la raison Jürgen Schmidhuber ne figure pas sur la liste Prix Turing.

machine à vecteurs de support (SVM) père --Vladimir Vapnik

En plus d'une voix haute, est disposé théorie de l'apprentissage statistique Vladimir Vapnik, il a deux réalisations majeures:

• Un autre mathématicien soviétique et co-écrit la théorie de l'apprentissage statistique bien connue théorie Vapnik-Chervonenkis (dimension VC)

• Dans le développement de la théorie sur la base du SVM (Support Vector Machine, appelée SVM) algorithme

algorithme SVM

En 1971, Vladimir Vapnik et A. Chervonenkis dans le document intitulé « Sur la convergence uniforme des fréquences relatives des événements à leurs probabilités » proposées théorie Vapnik-Chervonenkis, il montre que l'erreur de modèle d'algorithmes d'apprentissage machine sélectionnée, deux facteurs résultats de rôle:

• Plus le taux d'erreur d'agrégation de classificateur de classe modèle (la vitesse de convergence vers le taux d'erreur de généralisation) pire.

• La classe modèle plus grand, meilleur est l'effet pour ajuster les données.

Dans l'ensemble, en fonction du taux d'erreur de généralisation < = Expérience + secteur taux d'erreur de généralisation, il faut peser la complexité du modèle, afin de minimiser le taux d'erreur de généralisation.

Sur cette base, les classificateurs de Vladimir Vapnik, qui a proposé une autre conception les lignes directrices. En partant du principe linéairement séparables, puis étendu à la fonction linéaire et non-linéaire à la partition, cette classification est appelée SVM (Support Vector Machine, appelée SVM). SVM a été proposé en 1963 par Vladimir N.Vapnik et Alexey Ya.Chervonenkis, la version actuelle (marge douce) est Corinna Cortes et Vapnik proposé en 1993, publié en 1995.

SVM est principalement analysé pour le cas linéairement séparable, dans le cas d'inséparable linéairement en utilisant la conversion non-linéaire de l'algorithme de mise en correspondance de faible dimension espace d'entrée linéairement inséparable de sorte qu'un échantillon peut être divisé en un espace de caractéristique dimensionnelle élevée linéaire, de sorte que l'espace caractéristique dimensionnelle élevée algorithme linéaire en utilisant des caractéristiques non linéaires de l'analyse de ligne échantillon possible.

Cela permet à la généralisation des points de données spatiales dans une erreur de mesure plus grande tolérance, combinée à une expansion non linéaire des « compétences de base » (trick noyau), est devenu un SVM pilier important de l'apprentissage de la machine.

À l'heure actuelle SVM a été largement utilisé dans divers domaines, en particulier dans de nombreux domaines d'ingénierie, et de la résolution des algorithmes clés derrière de nombreux problèmes réels transfrontaliers, tels que la classification de texte, hypertexte (page classification), reconnaissance d'image, la bio-informatique (protéine classification, caractéristiques de la classification du cancer), reconnaissance de l'écriture et ainsi de suite. La classification automatique peut être considéré comme l'un des plus algorithmes technologiques clés importants.

A été « supprimé » l'apprentissage en profondeur

Lorsque Cortes et la théorie Vapnik machine proposée vecteur support (SVM) en 1995, l'apprentissage automatique dans ce domaine seront divisés en deux écoles - les réseaux de neurones et les machines à vecteurs. Après la version 2000 du noyau SVM est proposé que le réseau de neurones progressivement désavantagés dans cette compétition.

En d'autres termes, avant l'apprentissage en profondeur non feu vers le haut, SVM (support machine de vecteur) est un doute important. 2002-- 2014, travaillant dans le NEC Lab Vladimir Vapnik en position de terrain avec Geoffrey Hinton SVM d'aujourd'hui est à l'apprentissage en profondeur pas moins.

Machine vecteur support pour l'intrigue et la profondeur de l'apprentissage, Jia Yang Qing, vice-président de la technologie Alibaba ont eu une discussion sur ce savoir presque:

Les deux amants ont été haut en bas incontestable, la profondeur de l'étude récente basée sur les réseaux de neurones à cause de l'actualité populaire AlphaGo, etc., pour promouvoir le réseau de neurones à la chaleur a atteint un maximum de sans précédent. Après tout, l'étude approfondie de la structure multicouche de la couche cachée que, comme une boîte noire, une forte capacité à apprendre la boîte de Pandore. Certaines personnes peuvent penser que c'est notre véritable réseau de neurones, nous ne savons pas ce qu'il a fait à ce nombre de neurones dollars Baiqian, ne comprennent pas pourquoi une telle structure peut naître tant de meilleures données - comme la complexité de la comme la science, en haut, nous ne pouvons pas savoir pourquoi le « groupe stupide » sous-jacent peut émerger. à la fois un ratio haut, SVM ne semble pas l'apprentissage de profondeur très fanatique, même plaisanté en disant SVM Hinton ne sont que l'apprentissage à faible profondeur (de l'étude approfondie ridicule).

Dans le cas contraire, pense personnellement que par rapport intéressé par le réseau de neurones couche cachée, a une théorie mathématique profonde de SVM est plus digne Etudions. Grande justification mathématique SVM peut dire que de grandes réalisations mathématiques d'aujourd'hui de l'humanité, donc svm réseau explicatif ni de neurones que l'on peut dire, il est plein d'elle théorie mathématique rationnelle, une telle raison est un désir ardent pour les étudiants en sciences et en génie a.

SVM performance et performance exceptionnelle efficacité dans le domaine des réseaux de neurones ne peuvent pas obtenir un meilleur effet, en plus, les machines à vecteurs pour tirer parti de toutes les connaissances préalables faire des options d'optimisation convexe, et produire des modèles nucléaires théoriques précis, il peut être de différentes disciplines ont une grande poussée pour produire l'amélioration de la théorie et la pratique très efficace.

Enfin, je voudrais parler avec vous, votre idée des candidats du Prix Turing qui d'autre?

références:

1) "on entend mémoire à court et à long terme (LSTM) réseau de neurones." Yuan-Feng

https://zhuanlan.zhihu.com/p/24018768

2) « Pourquoi par rapport à la RNN, LSTM mieux sur les exécuter disparait de gradient? . « Liu Tong

https://www.zhihu.com/question/44895610/answer/616818627

3) « Il est le parrain de l'intelligence artificielle, mais il allait être oublié par le monde ». Joyce Lee. Réseau Robot

https://www.roboticschina.com/news/2018051811Schmidhuber.html

4) "théorie Vapnik-Chervonenkis". Zccg

https://zhuanlan.zhihu.com/p/22457275

5) « Comment comprendre SVM | SVM je vois » ne peut pas avoir du poisson frit BUG.

https://www.jianshu.com/p/96e8fad1a2a4#

6) Jayant réponse presque claire connu

https://www.zhihu.com/question/22290096/answer/52642714

Cliquez sur Lire l'original , vue Lauréat du prix John turation Hennessy, David Patterson Interview: les étudiants futurs peuvent faire l'apprentissage de la machine