Lei Note du réseau Feng: Récemment, le célèbre blogueur AI, Université nationale d'Irlande PNL doctorat Sebastian Ruder à « l'apprentissage de transfert: la ligne suivante avant l'apprentissage de la machine » dans le titre, les principes techniques de l'étude de la migration, l'importance et la signification, les méthodes d'application font détail. Dans cet article, dans lequel les principes ont discuté la migration étude, l'importance, ainsi que certains prédisaient Andrew Ng a fait les extraits, lisez le texte original (en anglais) ici s'il vous plaît tamponner. Lei Feng réseau compilé.

Sebastian Ruder

Sebastian Ruder: En profondeur la formation du réseau de neurones pour apprendre la cartographie précise de l'entrée à la sortie, ces dernières années, nous faisons de mieux en mieux. Que ce soit pour des images, des déclarations, ou de prédire l'étiquette, avec un grand nombre d'échantillons ne marque, ne sont plus un problème.

algorithme d'apprentissage profond d'aujourd'hui fait encore défaut, il est la généralisation sur (le cas est différent de l'ensemble de la formation) dans des situations nouvelles.

À quel moment, cela est un must? - Lorsque vous mettez le modèle est appliqué à des situations réelles, plutôt que l'ensemble de données soigneusement collationné. Le monde réel est assez chaotique, contient de nombreuses circonstances spéciales, il y aura de nombreuses situations rencontrées dans le non modèle de phase de formation. Et peut donc pas convenir à faire des prédictions pour les nouveaux cas.

apprendre ailleurs les connaissances, la capacité de migrer vers la nouvelle scène est à l'apprentissage de transfert.

Apprendre les principes de la migration

Dans la situation d'apprentissage de la machine d'apprentissage traditionnel supervisé, si nous sommes prêts pour une mission / terrain Un modèle formé, la tâche d'acquisition de données / A dans le champ marqué, il sera fourni. La figure 1 montre très clairement: la formation, la tâche des données d'essai / modèle champ A est cohérent.

Figure 1: L'apprentissage ML-supervisé traditionnel

Il est prévu que nous nous entraînons sur ce modèle de cube A, mais aussi avoir une bonne performance sur les nouvelles données de la même tâche / domaine. D'autre part, pour une tâche / champ B donné, nous avons besoin de données de marque dans ce domaine, pour former le modèle B, afin d'obtenir de bons résultats dans la mission / terrain.

Mais les méthodes traditionnelles d'apprentissage supervisé échoueront - en l'absence d'une donnée marqueur mission / sur le terrain, il peut souvent arriver à un modèle fiable. Par exemple, si nous voulons former un modèle pour la surveillance de nuit d'image piétonne, on peut appliquer un modèle similaire dans le domaine de la formation - aux piétons du moniteur pendant la journée. Il est théoriquement possible. Mais en fait, les résultats de la performance du modèle sont souvent se sont fortement dégradées, voire l'effondrement. Il est facile à comprendre, les captures de certains modèles d'écarts par rapport aux données de formation au cours de la journée, ne savent pas comment la généralisation à une nouvelle scène.

Si nous voulons accomplir de nouvelles tâches, telles que la surveillance cycliste, réutiliser le modèle original ne fonctionne pas. Il y a une raison très clé: différentes étiquettes de données pour différentes tâches. Mais l'étude de la migration, nous pouvons résoudre ce problème dans une certaine mesure, et d'utiliser pleinement les données existantes mission similaire / terrain. tâche d'apprentissage transfert en essayant de faire face à la source de l'acquisition de connaissances, appliquée au nouveau problème cible, illustré à la figure 2.

Figure 2: l'apprentissage des migrations

Dans la pratique, nous allons essayer de la source autant de connaissances de la scène, à la tâche de destination ou de la scène. La connaissance ici peut avoir de nombreuses formes, mais cela dépend des données: il peut être un composant sur l'objet, afin d'identifier plus facilement des objets insolites, il peut aussi être un terme général pour les personnes d'exprimer leurs points de vue.

Pourquoi apprendre le transfert si important?

Dans les NIPS de l'année dernière 2016 conférence, Andrew Ng a déclaré: « Après l'apprentissage supervisé, l'apprentissage dirigera la prochaine vague de marée de la commercialisation des technologies d'apprentissage machine à la migration. »

Lei Feng réseau a été informé à ce moment-là, Andrew Ng a dessiné un croquis sur le tableau blanc, pour expliquer sa position. Sebastian Ruder établie avec un ordinateur, est la figure suivante:

La figure est les yeux Andrew Ng, poussant les principales techniques d'apprentissage machine d'entraînement pour obtenir des résultats commerciaux. Comme on peut le voir, Wu estime que la prochaine étape sera d'apprendre la migration d'explosion des applications d'entreprise.

Une chose est certaine: Jusqu'à présent, l'application de l'apprentissage de la machine et de succès dans l'industrie, principalement tirée par l'apprentissage supervisé. Ce qui à son tour est basé sur la profondeur des progrès de l'apprentissage, les installations informatiques les plus puissants, a fait une fondation marquée sur de grands ensembles de données. Ces dernières années, les applications commerciales dans la vie quotidienne de cette vague de l'attention du public sur la technologie de l'intelligence artificielle, vague d'acquisition de l'investissement, l'apprentissage machine, principalement pour diriger un apprentissage supervisé. Si l'on ignore l'argument « AI hiver », je crois que cette vague de prévisions des marées commerciales Andrew Ng, l'apprentissage de la machine devrait se poursuivre.

Un autre point est moins claire: Pourquoi l'apprentissage de transfert a été autour depuis des décennies, mais sans que personne dans l'industrie? De plus, Andrew Ng prédit le transfert d'apprentissage de la croissance explosive des applications d'entreprise, que ce soit ce qui se passera?

système d'apprentissage par rapport apprentissage et le renforcement sans supervision, l'apprentissage de la migration du niveau d'exposition actuel est pas élevé, mais de plus en plus de gens se tournent leur attention.

Pour les deux premiers, par exemple, il est considéré comme le « universel AI » (général AI) clé de l'apprentissage non supervisé, et son importance en tant que sermons Yann LeCun et « théorie du gâteau » de plus en plus reconnu, provoquant une vague d'inquiétude . Généré contre le réseau dans lequel la technologie joue un rôle de pionnier. Pour l'apprentissage de renforcement, la force motrice la plus importante est Google DeepMind. Oui, je veux dire AlphaGo. La technologie d'apprentissage par renforcement a fait l'application réussie dans les scénarios de la vie réelle, comme une réduction de 40% du coût du thermostat Google centre de données.

Yann LeCun théorie du gâteau. Selon lui, l'apprentissage est renforcé les cerises, l'apprentissage supervisé dragéifiés, l'apprentissage non supervisé est le corps de gâteau. Mais il est intéressant de cette étude qui ne migre pas.

Les deux champs ont un avenir brillant. Cependant, dans un proche avenir, je crains qu'ils sont relativement limitées production commerciale des résultats - réalisations plus académiques, présent dans la recherche de pointe et des documents. En effet, les défis techniques auxquels sont confrontées ces deux domaines est encore très sombre.

L'apprentissage transfert spécial où?

À l'heure actuelle, l'application des cadeaux de l'industrie apprentissage machine dualité:

• D'une part, ces dernières années, nous obtenons plus de formation, la capacité de modéliser plus précisément. Maintenant, vivent dans une nouvelle phase: Pour de nombreuses tâches, le modèle le plus avancé de la performance, a atteint le niveau d'un rêve précédent: si ces modèles comptent pas le coût sur le marché, les consommateurs ne se plaignent pas de leurs compétences de base.

  modèles de performance de pointe ont été fortes dans quelle mesure?

  Les derniers résidus de réseau (réseaux résiduels) ont été en mesure d'atteindre le IMAGEnet niveau super-humain, Google intelligent Répondre répondre automatiquement 10% des téléphones mobiles, le taux d'erreur de reconnaissance vocale a été réduit, le taux précis de plus de dactylos, machine à peau taux de reconnaissance du cancer afin d'atteindre un niveau de dermatologue, le système Google NMT a été appliqué à la traduction de Google final du produit, Baidu DeepVoice a généré la voix en temps réel ......

  Cette liste peut être longue. Ce que je veux dire est: ce niveau de maturité, a cédé la place à un modèle de déploiement à grande échelle pour des millions d'utilisateurs potentiels.

• D'autre part, Ces modèles réussis de données extrêmement faim, ont besoin de grandes quantités de données pour obtenir la marque cet effet. Dans certaines régions de la mission, ressource de données existe - derrière des années de collecte de données ardues. Dans certains cas, les données sont publiques, telles que IMAGEnet. Mais un grand nombre de données est généralement marquées propriété intellectuelle exclusive, ou recueilli aussi extrêmement coûteux, tels que la médecine, la voix, les ensembles de données de MT.

  Pendant ce temps, quand un modèle d'apprentissage de la machine est appliquée à des situations réelles, il rencontrera de nombreux, pas déjà rencontré la situation, ne savent pas comment faire face. Chaque client, les utilisateurs ont leurs préférences, produira des données différentes de l'ensemble de la formation. Modèle doit gérer de nombreuses tâches et objectifs avaient reçu une formation similaire, mais pas exactement la même tâche. Le modèle de pointe d'aujourd'hui, tout en étant capable de super-humain ou équivalent humain sur la tâche de formation, mais dans ces cas, la performance sera grandement réduite, voire l'effondrement complètement.

La migration est d'apprendre à faire face à ces tueur spécial des cas. De nombreuses applications d'apprentissage machine au niveau des produits, vous devez entrer dans le champ de la mission pénurie marquée de données pour les applications professionnelles, l'apprentissage de transfert est sans aucun doute nécessaire. Aujourd'hui, la base de données « faible arbre fruitier » a été éteint la lumière, alors, vous devez prendre pour apprendre quelque chose migré vers les nouvelles tâches et les champs.