Ces dernières années, la profondeur du réseau de neurones a fait des progrès remarquables dans la voix, des zones d'image, tant de gens assimilent la profondeur et la profondeur de l'apprentissage réseau de neurones. Mais Zhou Zhihua a déclaré que les résultats sont résumés les gagnants du concours Kaggle sont disponibles, le réseau de neurones est souvent sur l'image gagnante, vidéo, son tâches typiques de ces catégories, tandis que dans d'autres modèles hybrides, modélisation discrète, la modélisation implique des symboles la tâche sera pire par rapport à certains des autres modèles.

Pourquoi un tel résultat? Zhou Zhihua de la signification profonde de parler de la profondeur du réseau de neurones, Tiaofenlvxi résume les trois principales raisons du succès du réseau de neurones: Il couche par un procédé de couche, à l'intérieur d'un changement de caractéristique, la complexité du modèle suffisamment

Et conclut: Si ces trois conditions sont remplies, pas nécessairement seulement avec la profondeur du réseau de neurones.

En raison de certains défauts des réseaux de neurones existent, beaucoup de fois les gens doivent envisager d'autres modèles. Zhou Zhihua a présenté gcforest la façon dont il a dirigé l'équipe proposée, en disant que la méthode a une bonne performance croisée tâche, les avantages de la complexité du modèle adaptatif et ainsi de suite.

En ce qui concerne l'importance de la recherche gcforest, comme Zhou Zhihua comme cela est représenté dans l'apprentissage de la profondeur à part dans une pièce sombre, avant que nous le savons tous profondément à l'intérieur du réseau de neurones, et nous avons maintenant la maison a ouvert la porte, mis à la gcforest Je pense qu'il peut y avoir plus de choses à l'avenir, il est plus important de ce travail de la valeur de développement scientifique académique.

Le professeur Zhou Zhihua est ACM (ACM), AAAS (AAAS), la Société internationale pour l'intelligence artificielle (AAAI), Institut des ingénieurs électriciens et électroniciens (IEEE), la Société internationale pour la reconnaissance Motif (IAPR), Technologie (International Engineering EIDE / IEE ), etc. Société Fellow, membre du domaine de l'IA a réalisé le grand Chelem, est le seul fait tout le degré de AAAI Fellow en Chine continentale, pour l'apprentissage ensemble l'apprentissage automatique, apprentissage multi-étiquette et l'apprentissage semi-supervisé a une excellente contribution. Il a également à lui seul a fondé l'École de l'Université de Nanjing de l'intelligence artificielle et a servi en tant que président.

Ce qui suit est le texte intégral du discours, le camp de base de la technologie AI Finition:

Nous avons peut-être entendu dire que nous avons récemment mis en place l'école de l'Université de Nanjing de l'intelligence artificielle, qui est la première intelligence artificielle de C9 universités chinoises. Aujourd'hui, tout comme nous parlons de nous-mêmes un peu de vue très superficielle de la profondeur de l'apprentissage, pour votre discussion critique.

Quelle est la profondeur de l'apprentissage?

Nous savons tous que l'intelligence artificielle est chaude, dételer un de la technologie la plus importante de cette unité est la vague de la profondeur des techniques d'apprentissage. Aujourd'hui, quand on parle de l'apprentissage en profondeur, en fait, être déjà vu dans une variété d'applications, y compris l'image, la vidéo, la voix, le traitement du langage naturel, et ainsi de suite. Si nous posons une question, quelle est la profondeur de l'apprentissage? La plupart des gens pensent que, fondamentalement, il est presque égale à la profondeur du réseau de neurones de l'apprentissage en profondeur.

Je vais vous donner un coup d'il à un exemple. Il y a une très célèbre Société internationale de la société industrielle et de mathématiques appliquées, ils ont appelé un journal SIAM Nouvelles. Il y a un article sur la première page de Juin dernier, qui mettait l'accent sur ce qu'il dit est la profondeur de l'apprentissage? Il (l'apprentissage en profondeur) est un apprentissage de la machine sous-domaine (sous-champ), il y a une profondeur d'utiliser des réseaux de neurones.

Donc, fondamentalement, si l'on veut parler de l'apprentissage en profondeur, puis tout d'abord à partir du réseau de neurones. Les réseaux de neurones ne sont pas une chose nouvelle, il a été étudié plus d'un demi-siècle. Mais dans le passé, nous allons utiliser ce réseau de neurones est une couche intermédiaire ou cachée a deux couches cachées. Dans un tel réseau de neurones à l'intérieur de chaque unité, il est ce genre de choses? Il est un modèle de calcul très simple.

Pour exemple il y a, un tel modèle de calcul, en fait, un demi-siècle, nous avons été résumé. Nous avons reçu un certain nombre d'entrées, qui sont reliées par un certain nombre d'amplification, après la cellule à laquelle la « somme » dépasse une valeur de seuil de la cellule est activée. En fait, la vérité est une formule très simple, le réseau de neurones que l'on appelle un système mathématique beaucoup de ces formules obtenues par itération imbriquée.

Aujourd'hui, nous disons que la profondeur du réseau de neurones « désigne? En fait, il est tout simplement les réseaux de neurones ont beaucoup de couches, très profondément. A propos de combien? Un regard sur les données en 2012, la profondeur de l'apprentissage l'attention juste être tout le monde quand un gagnant du concours de IMAGEnet avec huit couches, la couche 152 en 2015, 2016, 1207 multicouche, qui est un système très important.

De mettre ce formation système très difficile, mais il y a une très bonne nouvelles, véritables réseaux de neurones à l'intérieur de l'unité de calcul, sa fonction la plus importante est l'activation continue, est différentiables. Dans le précédent réseau de neurones que nous utilisons souvent sigmoïde, il est différentiable, maintenant dans la profondeur du réseau de neurones, nous utilisons souvent ou tanh tanh variante, il est également différentiable. Avec une telle nature à l'avenir, nous aurons un très bon résultat, qui est que le système de calcul maintenant nous pouvons facilement dégradé. Ainsi, vous pouvez facilement utiliser le célèbre algorithme de BP (Note: L'algorithme de rétropropagation) pour former ce système.

Aujourd'hui, grâce à cet algorithme, le réseau de neurones a obtenu beaucoup de victoires, mais en fait, nous avons été dans le monde universitaire veulent pas savoir une chose, qui est la raison pour laquelle nous utilisons un modèle profond? Il peut y avoir beaucoup de gens aujourd'hui diraient que l'apprentissage en profondeur a obtenu beaucoup de succès, mais il est un gros problème est la base théorique est pas clair, nous ne savons pas, en théorie, dit qu'en fin de compte, comment faire? Pourquoi le succès? Quels sont les principaux, il est cela? En fait, nous ne savions pas de quel point de vue, il. Parce que si nous faisons une analyse théorique, puis, tout d'abord il devrait y avoir un peu d'intuition, vous à la fin parce que ce qui fonctionne et aller de l'avant sur cette route afin d'avoir les principaux résultats.

Pourquoi la profondeur peut, en fait profondément les réseaux de neurones, cette question à ce jour le monde universitaire est pas vue unifiée. Dans ce document, je vous le dis il y a quelque temps nous avons discuté d'un donné, ce fait est discuté du point de vue de la complexité du modèle à la discussion principale.

Quelle est la clé du succès est la profondeur de l'apprentissage?

Nous savons que la complexité d'un modèle d'apprentissage de la machine et sa capacité est en fait de, et cela détermine directement la capacité de sa capacité d'apprendre, de sorte que la capacité d'apprentissage et la complexité sont liés. En fait, nous savons qu'il ya longtemps, si nous pouvons améliorer la complexité d'un modèle d'apprentissage, il sera en mesure d'améliorer la capacité d'apprentissage, la complexité de la façon de l'améliorer?

Il y a deux façons évidentes de ce modèle de réseau de neurones, il est un modèle que nous sommes devenus plus sombre, nous prenons un plus, mais si vous mettez à niveau du point de vue de la complexité, le plus sombre sera plus efficace. Lorsque vous vous venez d'ajouter une élargissez unité de calcul, augmente le nombre de fonctions, et dans le temps deviennent non seulement d'augmenter le nombre de profond, en fait, a aussi augmenté le niveau intégré, de sorte que les compétences seront plus fonctionnels forte. Donc, de ce point de vue, nous devrions essayer d'assombrir.

Vous pouvez demander, est si elle veut devenir plus sombre, et vous ne connaissez pas encore encore? Pourquoi commence seulement maintenant à le faire? En fait, cela implique un autre problème, que nous apprenons dans l'apprentissage de la machine deviennent forts, c'est en fait pas vraiment une bonne chose. Parce que nous avons été un problème d'apprentissage de la machine de la lutte que nous rencontrons souvent en forme.

Étant donné un ensemble de données, ensemble de données que nous voulons apprendre quelque chose, mais parfois cela peut mettre quelques-unes des caractéristiques des données elles-mêmes à l'école, mais cette fonctionnalité n'est pas la règle générale. Lorsque la mauvaise chose à l'école en règle générale à l'utilisation, il fera une énorme erreur, ce phénomène est plus ajusté. Pourquoi apprendre les caractéristiques des données elles-mêmes sortira? Parce que notre modèle est trop forte capacité d'apprentissage.

Ainsi, dans le passé, nous n'utilisons des modèles trop complexes, pourquoi maintenant nous pouvons utiliser ce modèle? En fait, il y a beaucoup de facteurs, le premier facteur est que nous avons maintenant beaucoup de données, de sorte que, par exemple, si mes mains un peu plus de 3000 données sur les caractéristiques des écoles sont moins susceptibles d'être la règle générale. Mais s'il y a trente millions, trois mille, voire des dizaines de milliers de données, les données dans les propriétés à l'origine d'une règle générale, de sorte que l'utilisation de grandes quantités de données lui-même est les conditions clés facilitent surajustement.

Le deuxième facteur, aujourd'hui il y a beaucoup de dispositifs informatiques très puissants, il est en mesure de former un tel modèle, grâce aux efforts de nombreux chercheurs dans le domaine, nous avons beaucoup sur les techniques et les algorithmes formation de ces modèles complexes, ce qui nous rend si utiliser des modèles complexes possibles.

Selon cette idée, en fait, il y a trois choses: Tout d'abord, nous avons plus de données aujourd'hui, d'autre part, il y a fort dispositif informatique, le troisième, il existe de nombreuses techniques de formation efficaces.

Cela conduit, nous pouvons utiliser des modèles très complexes. La profondeur du réseau de neurones est un très facile à modéliser avec précision la mise en uvre très complexe. Par conséquent, la théorie de telle expliquer, si nous disons que c'est une explication, il semble nous dire pourquoi nous pouvons utiliser le réseau de neurones profondeur. Pourquoi est-il réussi? En raison de la grande complexité.

Avant plus d'un an, nous avons expliqué que cela est sorti, en fait, de nombreux nationaux et étrangers sont également très bien d'accord avec une telle interprétation, parce que nous pensons qu'il semble tout à fait raisonnable, en fait, je suis à ce pas particulièrement satisfait, ce qui explique pourquoi ? En fait, il y a un problème potentiel ne nous a pas répondu. Si l'interprétation de la complexité, il nous est impossible de dire pourquoi ou des performances globalement stables du réseau ne peut pas la profondeur des réseaux de neurones? Parce qu'en fait nous élargissons le réseau, bien que son efficacité ne soit pas élevée, mais il peut aussi jouer une complexité augmentation de la capacité.

En fait, en 1989, quand nous avons déjà une théorie pour prouver que l'approche du réseau de neurones que des milliers ont la capacité à: Tant que vous utilisez une couche cachée, vous pouvez aborder la définition de la complexité arbitraire fonction continue de précision arbitraire sur un ensemble compact .

En fait, vous ne devez pas nécessairement être très profond. Là, je veux citer un dicton que des milliers de réseaux de neurones ont la capacité d'approche, probablement certaines personnes penseront que c'est pourquoi le réseau de neurones si puissant conduit à une raison importante, en fait, cela est un malentendu.

Nous apprenons tous les modèles qui ont utilisé la machine, il doit avoir sur toute capacité d'approximation. Sans cette capacité, pas du tout. Si simple, même transformer de Fourier, il aura déjà cette capacité, cette capacité n'est pas unique au réseau de neurones. Ce que nous avons ici voulons insister sur une chose? En fait, tant que j'ai go neurones couche cachée, plus illimitée I, sa capacité deviendra très forte, la complexité devient élevée. Mais un tel modèle en termes de la façon dont les applications à l'intérieur du test, nous avons constaté que les réseaux de neurones ne sont pas aussi bonne profondeur. Donc, du point de vue du complexe peut être difficile de résoudre ce problème, nous avons besoin d'un peu plus en profondeur la pensée.

Nous devons donc poser une telle question: quelle est la profondeur du réseau de neurones qui à la fin est le plus essentiel? Aujourd'hui, nous répondons peut indiquer la capacité d'apprendre est de faire. Dans le passé, nous l'apprentissage de la machine utilisée, pour obtenir une première donnée, comme l'objet de données est une image, nous allons l'utiliser pour décrire de nombreuses fonctionnalités, telles que la couleur, la texture, etc., qui sont quelques-unes des caractéristiques de nos experts humains pour concevoir la main puis nous allons apprendre à exprimer.

Aujourd'hui, nous avons après l'apprentissage en profondeur, maintenant plus besoin de concevoir manuellement fonctionnalités, d'une extrémité des données jetées au modèle de l'autre extrémité hors du milieu de toutes les mêmes caractéristiques tout à fait résolu par l'apprentissage, qui se caractérise par l'apprentissage que l'on appelle ou dès qu'il apprend cette technologie et précédente d'apprentissage de la machine est un grand pas en avant par rapport à, on n'a plus besoin de compter entièrement sur des experts humains pour concevoir une fonction.

Parfois, nos amis de l'industrie vont dire, et il y a une étude très importante appelée la fin, je pense que cela est très important. En fait, cela est une chose que vous voulez regarder deux aspects: un aspect lorsque nous apprenons les caractéristiques et la classification de l'apprentissage ainsi que d'examiner le rôle de l'optimisation conjointe peut être atteint, ce qui est bon, mais d'autre part, s'il arrive ce que nous ne savons pas, cette fois-ci la fin de l'étude ne sont pas nécessairement très bon, probablement parce que la première partie de l'est, la deuxième partie de l'ouest, pris ensemble, aller est un peu plus, en fait, il y a certaines choses internes ont été compensés.

En fait l'apprentissage de la machine qui a déjà fin à apprendre, par exemple, faire la sélection des fonctionnalités, mais ces méthodes ne sont pas plus fortes que d'autres méthodes de sélection des fonctionnalités? Pas nécessairement, donc ce n'est pas le plus important, ce qui compte vraiment se caractérise par l'apprentissage ou prend connaissance.

Nous demandons à la question suivante, il faut indiquer l'apprentissage est le plus important? Cette question de sorte que nous avons maintenant une réponse, qui est, couche par couche de traitement. Maintenant, nous citerons très populaire « apprentissage en profondeur » un livre d'une carte, lorsque nous obtenons une image du temps, si nous réseau de neurones autant de couches, la première chose que nous voyons est en bas de quelques-uns des pixels les choses, mais dans l'ensemble est vraiment, quand on couche par couche, quand un bord lentement, puis plus loin là-bas profil, etc., peuvent ne pas avoir une telle hiérarchie claire dans le réel modèle de réseau de neurones continuer à faire l'abstraction de l'objet.

Et cette fonctionnalité, nous croyons maintenant que cela semble être l'un des facteurs clés étude approfondie, car le réseau de neurones plat vraiment réussi peut faire beaucoup de choses DNN, mais une chose qu'il ne peut pas faire: le moment où il est plat, ne serait pas une profonde transformation, de sorte que la profondeur de la couche par abstraction de la couche peut être critique. Si nous examinons, nous allons probablement demander, en fait, affaire avec elle couche par couche, dans l'apprentissage de la machine est pas une chose nouvelle.

Il y a beaucoup de choses avant couche traitement par couche, comme les arbres de décision, il est le processus étape par étape, ce qui est un modèle très typique. Cela a été cinq ou six ans, mais pourquoi ne pas le faire si bien réseau de neurones profondeur? Tout d'abord, il est assez compliqué, parce que la profondeur de l'arbre de décision, si l'on considère que les caractéristiques discrètes, sa plus grande profondeur ne dépasse pas le nombre de fonctionnalités, il est donc la complexité du modèle avec une limite supérieure, le processus d'apprentissage tout au long de la deuxième arbre de décision il dispose d'aucun changement interne est toujours réalisée dans un espace de représentation à l'intérieur, ce qui peut aussi être un problème.

Si vous comprenez les modèles d'apprentissage machine avancée points, vous pourriez demander, est maintenant beaucoup Dynamiser couche de modèle par couche aller vers le bas, pourquoi il n'a pas réussi l'apprentissage en profondeur? Je pense que le problème est presque le même, tout d'abord la complexité ne suffit pas, un deuxième point plus critique, il est toujours quelque chose à faire à l'intérieur de l'espace d'origine, qui sont tous apprenants dans l'espace original, sans aucune fonction de conversion intermédiaire.

La profondeur du réseau de neurones à la fin pourquoi le succès? Quelles sont les principales raisons il y a? Je pense tout d'abord nous avons besoin de deux choses, est d'abord la couche par couche de processus, nous avons une deuxième caractéristique de la transformation interne. Et quand on considère ces deux choses, nous constatons que, en fait, le modèle de profondeur est un choix très naturel. Avec ce modèle, on peut facilement faire deux choses ci-dessus. Mais quand nous choisissons d'utiliser un tel modèle de profondeur, nous aurons beaucoup de problèmes, il est facile de surajustement, nous utilisons donc les grandes données, il est difficile de train, nous avons beaucoup de truc de formation, calculer le coût de ce système est très grand nous avons donc un des dispositifs informatiques très puissants, tels que le GPU et ainsi de suite.

Pratiquement toutes ces choses sont le résultat parce que nous avons choisi le modèle de profondeur après parce qu'ils ne sont pas avec nous étude approfondie. Donc, ce passé, et notre façon de penser ne sont pas les mêmes, nous croyons que ces choses dans le passé, nous conduire à un modèle de profondeur, et maintenant nous pensons que cette relation de cause à effet est précisément l'inverse - parce que nous devons l'utiliser, donc nous allons examiner ci-dessus ces choses.

Et une autre chose que nous devrions noter que lorsque nous avons beaucoup de données de formation, ce qui nous oblige à avoir un modèle très complexe. Supposons que nous ayons un modèle linéaire, alors vous donner un échantillon de 200 millions ou 20 millions, en fait, il ne diffère pas beaucoup, il doit apprendre à ne pas aller. Et nous avons une pleine complexité, en fait, nous avons vu que nous donne le modèle de profondeur ajoutée à l'aide d'un point.

En raison de ces raisons, nous pensons qu'il est peut-être l'apprentissage au plus profond de la chose la plus critique. Voici donc notre compréhension actuelle de: une première étape de traitement par étape nous avons besoin, un deuxième changements internes nous avons caractéristique, en troisième lieu, nous avons assez de modèle de complexité.

Ces trois choses que nous croyons maintenant que la raison principale pour laquelle la profondeur du réseau de neurones pour réussir, ou qu'il est une supposition. Si ces conditions sont remplies, en fait, je peux penser à tout de suite, l'un des rares programmes n'utilisent pas vraiment réseau de neurones, le réseau de neurones est un choix, je fais juste trois choses en même temps, d'autres modèles peuvent, et pas nécessairement seulement avec la profondeur du réseau de neurones.

Defect réseau de neurones de la profondeur

Nous devons y penser, nous avons besoin d'examiner le modèle de réseau de neurones à l'extérieur? En fait, il y a. Parce que nous savons tous qu'il ya beaucoup de défauts dans le réseau de neurones.

Tout d'abord, ceux qui ont utilisé la profondeur du réseau de neurones de gens savent que vous passez beaucoup d'efforts pour régler ses paramètres, car cela est un système énorme. Il y aura beaucoup de problèmes, d'abord quand nous paramètres tune, ce fait est difficile de partager l'expérience. Certaines personnes peuvent dire que l'expérience I augmente dans le premier jeu de données d'image des données, lorsque j'utilise le second ensembles de données d'image, cette expérience peut certainement être réutilisés. Mais nous n'avons pas pensé, par exemple, nous avons fait beaucoup de réseau de neurones en termes d'image, cette fois-ci si vous voulez faire la voix, en fait, l'expérience dans les paramètres de ton de l'image ci-dessus, les problèmes d'élocution qui peuvent avoir sensiblement moins dessiner effet, alors quand on traverse la tâche, l'expérience peut être difficile d'avoir du succès.

Mais apporte aussi la deuxième question, nous sommes très préoccupés par la reproductibilité des résultats aujourd'hui, que ce soit la recherche scientifique, le développement technologique, et l'espoir que les résultats peuvent être répétés, et dans lequel l'ensemble du domaine de l'apprentissage machine, la reproductibilité de l'apprentissage en profondeur est le plus faible. Nous rencontrons souvent une telle situation, il y a un groupe de chercheurs a fait l'article fait état d'un résultat, et que les résultats d'autres chercheurs est difficile à répéter. Parce que même si vous utilisez les mêmes données, de la même manière, aussi longtemps que la conception des ultra-paramètres ne sont pas la même chose, vous faites une différence.

Lorsque nous utilisons la profondeur du réseau de neurones, la complexité du modèle doit être spécifié, car avant que les modèles de formation, réseau de neurones est ce que nous devons mettre en place avant de pouvoir l'utiliser pour former algorithme BP et ainsi de suite. En fait, cela apportera un gros problème, car en l'absence de résolution de cette tâche, comment savons-nous que cette complexité devrait être? Donc, en fait, nous ne sommes généralement mis une plus grande complexité.

Si vous tous préoccupé par les progrès des trois ou quatre dernières années, la profondeur du réseau de neurones, la profondeur de champ d'étude, vous pouvez voir beaucoup de travail à l'avant-garde de le faire? Il est réellement efficace pour réduire la complexité du réseau. Par exemple réseau ResNet, ainsi que la compression récente du modèle et donc nous avons souvent, en fait, nous ne pensons pas à toute la complexité est réduite, en fait, est d'utiliser un grand degré de complexité, et le bas et plus bas.

Ensuite, nous avons aucune possibilité d'emblée la complexité du modèle avec le changement de données? Cela peut être difficile pour les réseaux de neurones, mais d'autres modèles sont possibles. Il y a beaucoup d'autres problèmes, tels que l'analyse théorique très difficile et nécessite des données très importantes, le modèle de boîte noire, et ainsi de suite.

D'un autre aspect, mes amis pourraient dire, vous voudrez peut-être envisager de faire la recherche académique ces choses, je faisais l'application, vous venez de me donner assez pour résoudre le problème. De ce point de vue les choses même si nous étudions les réseaux de neurones en dehors, il est également très nécessaire. Bien que le réseau de neurones si populaire, un tel succès, mais en fait, nous pouvons voir que, dans beaucoup de l'exécution des tâches le meilleur, pas nécessairement entièrement réseau de neurones profondeur, par exemple, nous les problèmes de concurrence Kaggle souvent, au-dessus est la variété le vrai problème avec, par exemple, des billets, faire des réservations d'hôtel, les recommandations de produits et ainsi de suite.

Si nous regardons les gagnants ci-dessus, beaucoup d'aujourd'hui n'est pas le réseau de neurones, De nombreux modèles tels que les forêts aléatoires. Si nous avons vraiment attention à faire attention, vraiment réseau de neurones est souvent sur l'image gagnante, la vidéo, le son typique de ces types de tâches et d'autres tâches liées à la modélisation hybride, modélisation discrète, la notation de modélisation, en fait, la performance des réseaux de neurones est pire que certains des autres modèles .

Donc, si nous résumons il d'un point de vue académique encore, nous pouvons voir que le modèle de profondeur dont nous avons parlé aujourd'hui sont essentiellement la profondeur des réseaux de neurones. Si le terme est le cas, il est composé de plusieurs couches différentiables module de modèle paramétrable non linéaire, et ce modèle peut être utilisé pour former algorithme BP.

Ensuite, et il y a deux problèmes: premièrement, la nature des types de problèmes que nous avons rencontrés dans le monde réel, ne sont absolument différentiables, ou être en mesure de faire le meilleur modèle par modèle différentiables; deuxième qui, au cours des dernières décennies, notre apprentissage de la machine à faire beaucoup, beaucoup de modèles sortent, ceux-ci peuvent être utilisés en tant que pierre angulaire de notre système de construction, et une grande partie du module central n'est pas différentiables.

Ceux-ci peuvent ensuite être utilisées pour construire le modèle profondeur? Vous ne pouvez pas obtenir de meilleures performances en construisant la profondeur sur le modèle? Ne peut pas les transmettre deviennent plus tard plus foncé, aujourd'hui le modèle de profondeur a également battu certaines de ces tâches modèle Random Forest, vous pouvez obtenir de meilleurs résultats?

Alors maintenant, nous avons un grand défi, qui est non seulement académique, mais aussi des défis techniques que nous pouvons pour construire le modèle de profondeur avec le module non-différentiables.

En fait, cette question une fois répondu, nous pouvons obtenir beaucoup de réponses à d'autres questions. Par exemple, la profondeur du modèle est que les réseaux de neurones profonds? Nous ne pouvons pas utiliser le modèle non-différentiables dit si profond, cette fois-ci nous ne pouvons pas utiliser l'algorithme BP pour le train, et nous ne pouvons pas laisser le modèle de profondeur pour gagner plus de tâches. En fait, après cette question, nous avons recueilli au niveau international, il y a des chercheurs ont mis en avant des points de vue similaires. Par exemple, nous savons tous étude approfondie professeur très bien connu chef Geoffrey Hinton, il a également soulevé l'espoir que la profondeur ne peut pas se débarrasser de l'algorithme d'apprentissage BP à faire, il a suggéré l'idée beaucoup plus tard que certains d'entre nous. Je pense donc que cela est quelques-uns des problèmes permanents dans l'avant-garde de l'exploration à faire sur le point de vue très.

nous devons considérer trois choses, est à seulement trois conclusions de l'analyse avec vous que nous nous souffrons d'une telle inspiration,: d'abord beaucoup à couche par couche fini, le second est les caractéristiques de transformation interne, nous espérons obtenir troisième une complexité du modèle complet.

forêt profonde

Mon propre groupe de recherche dirigé par le fait récemment des travaux à cet égard, nous avons récemment proposé une méthode de forêt profonde.

Dans cette méthode, je ne parle pas de détails techniques avec vous aujourd'hui, il est une méthode basée sur un modèle d'arbre, surtout beaucoup d'idées empruntées par l'intégration. Deuxièmement, de nombreuses tâches différentes, son modèle les résultats obtenus et la profondeur du réseau de neurones est très similaire, à l'exception de quelques images à grande échelle, et ainsi de suite. Sur les autres tâches, notamment la performance inter-tâche est très bonne, on peut utiliser le même ensemble de paramètres pour obtenir une bonne performance utilisé dans différentes tâches, vous n'avez pas besoin d'ajuster progressivement les paramètres de la tâche.

Il est une caractéristique très importante, il a la complexité du modèle adaptatif, le modèle peut être déterminé automatiquement dans quelle mesure la longueur en fonction de la taille des données. Il est bon nature et beaucoup, beaucoup de nos amis peuvent également télécharger l'open source passer le test, nous sera plus grande échelle version distribuée et ainsi ne grande tâche doit être plus grande la mise en uvre, il n'est plus une version autonome peut faire.

Mais d'autre part, nous voulons voir c'est en fait une nouvelle idée d'explorer le développement des idées sur le sujet, donc aujourd'hui bien qu'il ait été en mesure de résoudre une partie du problème, mais nous devrions voir à nouveau vers le bas les perspectives de développement peuvent être aujourd'hui, nous sommes toujours pas en mesure de pleinement prévu, donc je suis ici rappeler brièvement convolution réseau de neurones, donc une technique très populaire, qui est en fait après un développement très long terme.

Le traitement du signal se produit plus tôt sur la convolution de l'intérieur, en fait, il y a plus d'un siècle, mais maintenant la profondeur historique des réseaux de neurones est de commencer par l'étude en 1962, deux lauréats du prix Nobel sur le cortex visuel biologique. Mais peu importe ce qui a été introduit dans la première circonvolution réseau de neurones en 1982, après quoi ils font beaucoup de travail, mis en place en 1989 algorithme BP, l'algorithme a été formé, et en 1995 pour la première fois sur CNN avec une description complète, aux États-Unis en 1998 pour identifier le chèque a obtenu un grand succès, proposé en 2006 par modèle profond de la couche de formation non supervisée, en 2009, la technologie a été introduite à CNN, nous pouvons faire profondeur CNN, profondeur de CNN en 2012 est utilisé dans le jeu de IMAGEnet directement sur une vague d'apprentissage en profondeur.

En rétrospective, a commencé à sortir de l'algorithme de réseau de neurones convolutionnel à de grandes réalisations vraiment fait dans l'industrie, le milieu après 30 ans de développement, je dis souvent que nous n'avons rien technologie vraiment perturbateur, toutes les technologies sont étape par étape du développement. Aujourd'hui, nous avons une nouvelle exploration, nouvelle exploration peut résoudre certains problèmes, mais nous devrions chercher à long terme, après de nombreuses années, après des efforts de nombreuses personnes, devrait être exploré aujourd'hui comme les technologies de l'avenir plus importantes jeter les bases.

Nous faisons ce travail, je pense qu'il est en fait le début de la profondeur de ce modèle de la catégorie des forêts, les détails techniques ne démarre pas, mais il utilise un ÉTENDU apprentissage intégré, je comprends que la diversité aspects favorisant, tous les la technologie est utilisée à l'intérieur.

Quel est le travail le plus important que je l'ai fait? Avant de dire l'apprentissage en profondeur est une pièce sombre, chambre sombre à l'intérieur ce qui est-il? Tout le monde sait qu'il réseaux de neurones profonds, et nous avons maintenant la maison a ouvert la porte, dans la forêt profonde, je pense à l'avenir il peut y avoir quelque chose de plus. Donc, c'est le travail dans le sens du développement scientifique académique, il y a une valeur plus importante.

le plus important talent ère AI

Enfin, je voudrais parler de deux minutes, l'Université de Nanjing école de l'intelligence artificielle entreprenne immédiatement une coopération globale, approfondie dans la recherche scientifique et la formation du personnel avec Jingdong.

Sur le développement de l'industrie de l'intelligence artificielle, nous devons poser la question, ce que nous devons à la fin? Nous avons besoin de dire des dispositifs? En fait, la recherche en intelligence artificielle ne nécessitent pas un secret appareil spécial, aussi longtemps que vous dépensez de l'argent, vous pouvez acheter ces appareils, GPU Ce ne sont pas exactement embargo sur les produits haut de gamme. Le second est pas un manque de données? Est maintenant ne notre stockage de collecte de données, la transmission, la capacité de traitement grandement améliorée, pleine de données, ce qui manque vraiment?

En fait, les plus graves pénuries de l'ère de l'intelligence artificielle de talent. Parce que cette industrie, vous avez plus de bonnes personnes, ont plus d'une bonne intelligence artificielle. Nous pouvons donc voir, en fait le monde sont en compétition le personnel du renseignement de artificielle, non seulement la Chine, les États-Unis. Nous avons donc mis en place un collège d'intelligence artificielle, en fait, il y a une telle considération.

Après la société de l'information entrera inévitablement l'intelligence humaine, nous pouvons dire que c'est une tendance irréversible ne peut pas être changé. Parce que nous offrons une assistance intelligente basée sur des données humaines, rend les choses plus faciles, il est le désir de nous tous. La révolution du moteur à vapeur est de nous libérer de l'intérieur le travail manuel, la révolution de l'intelligence artificielle devrait être pour nous un certain nombre de libération de l'homme du simple travail fort intellectuel répétitif, mais celui-ci la discipline de l'intelligence artificielle et d'autres placements à court terme et à la sortie à court terme air chaud ne aussi, comme après 60 ans de développement, a déjà une grande connaissance réelle.

Nous pouvons investir la sortie il y a quelques mots, mais aussi chaud cette année, l'année prochaine est déjà parti, ces mots si nous poursuivons, il contient sens scientifique à la fin ce qui est? Certaines personnes ne peuvent pas dire clairement, et l'intelligence artificielle, et ces choses complètement différentes, est une discipline à travers 60 ans sur le développement.

Grave pénurie de niveaux élevés d'intelligence artificielle, ce qui est un problème mondial, beaucoup de nos entreprises sont fortement creusées, mais en fait creuser les gens ne peuvent pas apporter incrémental, donc nous partons de la source, l'État et la société, l'intelligence artificielle, le développement des talents de l'industrie de la formation de haut niveau.