marque Par | Thalles Silva Compile | Traducteur Balala

Modifier | fin Cong

À grande échelle ensemble de données de marquage est l'un des facteurs clés du succès de l'apprentissage en profondeur dans le domaine de la vision par ordinateur. Cependant, apprentissage supervisé trop dépendant ensemble de données de marquage à grande échelle, collectées et des ensembles de données étiquetés manuellement doivent passer beaucoup de coûts de main-d'uvre. modèle d'auto-surveillance pour résoudre ce problème, il peut apprendre de l'image à grande échelle comporte des données non marquées, sans utiliser les données d'annotation artificielle.

Une chose chaque praticiens de l'apprentissage en profondeur conviennent que: modèle de données d'apprentissage en profondeur est inefficace.

1, les données de modèle d'apprentissage profondeur inefficace

Considérons d'abord les tâches de classification grand public dans la vision par ordinateur. Pour la base de données de IMAGEnet comme un exemple, il contient 1.000 différentes catégories de 1 30  Dix mille images, chaque image a une étiquette d'annotation manuelle.

IMAGEnet est sans aucun doute l'une des pierres angulaires de la profondeur de la relance de l'apprentissage maintenant, qui a pris naissance en 2012 Krizhevsky et al papier « IMAGEnet Classification avec Deep convolutifs Neural Networks ».

Dans cet article, le modèle de réseau de convolution pour la première fois de manière significative au-delà du modèle le plus avancé. Il est la seule solution basée sur un réseau de neurones de convolution dans l'ensemble du modèle de comparaison. Depuis lors, les réseaux de neurones convolution deviennent omniprésents.

étude approfondie préalable, les chercheurs ont été considérés comme IMAGEnet défi très difficile, principalement en raison de la variabilité de l'ensemble de données IMAGEnet exceptionnelle. Même si seulement pour trouver les fonctions manuelles peuvent couvrir IMAGEnet dans toutes sortes de chiens aurait été très facile.

Cependant, par la profondeur de l'apprentissage, nous nous sommes rapidement rendu compte que beaucoup de données a conduit à IMAGEnet si difficile, mais en réalité la profondeur d'apprentissage des conseils si efficaces.

Néanmoins, au fil des années d'études et de la profondeur de la recherche, nous savons que la nécessité de grandes bases de données pour le modèle précis de la formation est devenue une question très importante. Inefficiente et a besoin d'un plus grand problème à données étiquetées manuellement.

Et dans l'étude approfondie de l'application actuelle, le problème des données partout. Pour le modèle AlphaStar DeepMind exemple.

Source: « AlphaStar: Maîtriser la stratégie en temps réel StarCraft II Jeu »

• Adresse Papers: https: // deepmind .com / Blog / article / ALPHASTAR-mastering en temps réel-stratégie-jeu starcraft-ii

système d'apprentissage profondeur AlphaStar grâce à l'apprentissage et le renforcement apprentissage supervisé pour faire fonctionner le « StarCraft II ». Au cours de la formation, AlphaStar seulement du terminal pour regarder le match sur l'écran de jeu. les chercheurs ont utilisé un modèle DeepMind de formation de stratégie parallèle formation d'un grand nombre de corps intelligents distribués. Chaque agent aura au moins regardé en temps réel « StarCraft » vidéo 200 ans (sans interruption). Par la même formation que les athlètes professionnels, AlphaStar atteint le classement dans le serveur de jeu officiel dépasse l'énorme succès de 99,8% des joueurs actifs.

Bien que l'utilisation d'une variété de techniques pour former la polyvalence du système, mais la véritable clé pour construire avec succès AlphaStar (ou tout autre agent RL) est l'utilisation de grandes quantités de données. Le meilleur algorithme d'apprentissage par renforcement réel nécessite beaucoup de tests pour atteindre le niveau humain, ce qui est contraire à notre mode d'apprentissage humain.

En conséquence, l'apprentissage de renforcement a obtenu un grand succès dans les scènes limitées et bien définies avec un grand nombre de données disponibles. Les lectures peuvent être considérés DeepMind « Rainbow: La combinaison de l'amélioration de l'apprentissage en profondeur renforcement » du papier.

• Adresse Papers: https: //arxiv.org/pdf/1710.02298.pdf

Si vous laissez les meilleures méthodes de RL jouent un jeu Atari, il doit jouer un total de près de 100 heures (10,8 millions), afin d'atteindre le même niveau de performance et les joueurs humains professionnels. Malgré les récentes améliorations de la longueur, mais 100 heures semble encore trop.

Source: « Rainbow: La combinaison de l'amélioration de l'apprentissage en profondeur Renforcement »

• Adresse Papers: https: //arxiv.org/pdf/1710.02298.pdf

Pour plus d'informations sur AlphaStar, vous pouvez consulter cet article:

• Article adresse: https: //blog.deeplearning.ai/blog/the-batch-google-achieves-quantum-supremacy-amazon-aims-to-sway-lawmakers-ai-predicts-basketball-plays-face-detector-preserves -Confidentialité-1-0-0-0-0

Alors que je peux vous donner encore quelques exemples, mais je pense que ces deux assez de mots pour expliquer ce que je veux dire:

À l'heure actuelle étude approfondie à partir des données à grande échelle, et en cas de besoin pour répondre aux contraintes environnementales, ces systèmes donneront plus de résultats impressionnants. Mais dans certains cas particuliers, ils seront complètement inefficaces.

Retournons problème de classification IMAGEnet: base de données de taux IMAGEnet d'erreur de reconnaissance humaine d'environ 5,1%, tandis que le haut-5 précision de l'apprentissage en profondeur la plus avancée d'environ 1,8%.

• Adresse Papers: https: // paperswithcode .com / Sota / image classification en IMAGEnet

On peut donc se révéler parfaitement: l'apprentissage en profondeur sur IMAGEnet cette tâche doit faire mieux que les humains. Mais est-ce vraiment?

Si tel est le cas, comment pouvons-nous expliquer le problème suivant?

Source: « Attaquer Apprentissage avec les exemples accusatoires »

• Adresse Papers: https: // openai .com / Blog / recherche-exemple-contradictoire /

Nous pouvons utiliser ces très populaires sur Internet contre l'échantillon (exemples) contradictoire vu comme visant à induire en erreur la tâche d'optimisation modèle d'apprentissage de la machine. Les lectures peuvent être visionnés dessous Cet article:

• Article adresse: https: // openai .com / Blog / recherche-exemple-contradictoire /

L'idée est simple:

Comment faisons-nous le classificateur précédemment classé comme « Panda » image classée comme « gibbon »?

On peut penser simplement que des échantillons d'entrée est bien conçu conduit à l'erreur de classification du modèle ML.

Source: « Un pixel d'attaque pour les réseaux de neurones Tromper Deep »

• Adresse Papers: https: //arxiv.org/pdf/1710.08864.pdf

Comme nous l'avons vu, pour optimiser l'effet nous est bon (à l'il nu) ne peut pas détecter la différence entre l'image réelle (à gauche) et contre l'image (à droite). En fait, l'erreur de classification résultant du bruit n'est pas tout type de signal connu. Au contraire, il est conçu pour cacher le modèle d'erreur de découverte. Et des études récentes montrent que: Dans certains cas, nous avons seulement besoin de changer un pixel, vous pouvez réellement trompé meilleur classificateur apprentissage de profondeur, vous pouvez voir une discussion détaillée de cet article:

• Adresse Papers: https: //arxiv.org/pdf/1710.08864.pdf

À ce stade, nous pouvons voir les problèmes ont commencé à superposer les uns aux autres. Non seulement avons-nous besoin d'un grand nombre d'échantillons à apprendre de nouvelles tâches, mais aussi besoin de nous assurer que notre modèle d'apprendre la caractérisation correcte.

Tubes vidéo: https: // www. youtube .com / Watch? V = piYnd_wYlT8

Nous avons vu eu une discussion intéressante sur le système d'apprentissage de la profondeur de l'échec: Pourquoi est-ce que nous les humains ne facilement induits en erreur échantillon contre elle?

2, la mise en place et l'utilisation des connaissances préalables

Certaines personnes disent que quand nous avons besoin de maîtriser une nouvelle tâche, nous n'apprenons pas réellement à partir de zéro. Au lieu de cela, nous utilisons beaucoup de connaissances accumulées avant dans nos vies.

Isaac Newton a découvert la loi de la gravité

Nous comprenons la gravité et de sens, savait que si des obus d'artillerie et des plumes qui tombent du même point de départ, en raison de la différence de résistance à l'air des deux objets, coquillages seront d'abord atteindre le sol, savent que les objets ne peuvent pas être flottaient dans l'air, la compréhension des connaissances sur la façon dont le monde fonctionne. Nous savons que si nous avons des enfants de son père, il serait à ses frères et surs, savoir que si nous lisons un article que quelqu'un né dans les années 1900, il / elle peut ne plus être en vie, parce que nous (en observant monde) savent que les gens ne le font pas en général plus de 120 ans.

Nous comprenons les relations de cause à effet entre les événements. Le plus étonnant est que ce que nous avons depuis longtemps appris beaucoup de concepts avancés. En fait, nous avons seulement six à sept mois pour apprendre les notions de gravité et de l'inertie, et pendant cette période, nous interagissons avec le monde est presque nul!

Source: "acquisition précoce conceptuel chez les nourrissons", Yann polycopiés LeCun

• https://drive.google .com / Fichier / d / 12pDCno02FJPDEBk4iGuuaj8b2rr48Hh0 / vue

En ce sens, on pourrait dire que comparer les performances de l'algorithme est et les capacités humaines « injuste ».

Yann LeCun dans l'étude de l'auto-apprentissage supervisé en ce qu'il ya au moins trois façons d'acquérir des connaissances.

(1) a été observée par

(2) grâce à la surveillance (la plupart des parents et des enseignants)

(3) en renforçant la rétroaction

documents portent sur: https: // www. facebook .com / Epflcampus / vidéos / 1960325127394608

l'accès humain à différentes sources de connaissances à travers la vie. Apprendre par l'observation / interaction, la supervision et la rétroaction

Mais si le bébé, par exemple, cet âge est presque pas d'interaction avec le monde extérieur. Néanmoins, le bébé a été créé avec succès le modèle intuitif du monde physique. Alors que la connaissance avancée d'une telle gravité que par l'observation pure pour apprendre - au moins, je ne l'ai pas vu de grands parents enseignent à un bébé âgé de six mois physiquement.

Jusqu'à ce que nous vieillissons et commencer à maîtriser l'école de langue, la supervision et l'interaction (avec retour), il devient encore plus important. Mais plus important encore, quand nous sommes dans ces étapes de la vie, nous avons établi un modèle solide du monde. Ceci est probablement l'une des principales données de processus humain plus efficacement que la machine actuelle.

Comme l'a dit LeCun, l'apprentissage par renforcement comme la cerise sur le gâteau. L'apprentissage supervisé est la cerise sur le gâteau, mais le gâteau est auto-apprentissage supervisé!

Source: Yann LeCun (https://drive.google .com / entraînement / dossiers / 0BxKBnD5y2M8NUXhZaXBCNXE4QlE)

3, auto-apprentissage supervisé

Puisque le système d'apprentissage supervisé pour apprendre une partie du reste de l'entrée prédictive en entrée.

- LeCun

De l'auto-apprentissage supervisé l'apprentissage non supervisé, la résolution de problèmes d'apprentissage données sémantiques caractéristiques sans étiquette. Dans cet article, nous préoccupe le plus est dans le domaine de la vision par ordinateur, l'auto-surveillance.

La méthode habituelle est « le nom de la tâche » sera convertie par un problème de conception sans supervision des tâches supervisées. En règle générale, le nom de la tâche ne sera pas une nouvelle sortie, son but est de faire apprendre à capturer des fonctionnalités utiles à partir des données.

Au nom des tâches courantes et les questions de contrôle sont semblables.

Nous savons que la formation supervisée nécessaire étiquetage. En faveur des changements apportés à la nécessité habituel de travail sur les personnes d'annotation manuelle. Mais dans de nombreux cas, l'étiquette est très coûteux ou indisponible. Nous savons aussi que le modèle d'apprentissage nécessite intrinsèquement des données, ce qui conduit à grande échelle ensemble de données de marquage est devenu l'un des principaux obstacles à la poursuite du développement du modèle d'apprentissage.

De même, l'auto-apprentissage supervisé doivent également marquer le nom de la tâche à former. Cependant, la principale différence est la mission nominale: dans laquelle le nom de la tâche notée (étiquette pseudo) sont différents.

En fait, pour l'auto-surveillance et de la formation, les données de la pseudo-étiquette elle-même ne disposent.

En d'autres termes les données factice n'a pas besoin d'annotation manuelle. En effet, la principale différence entre l'auto-apprentissage et apprentissage supervisé cette source d'étiquettes.

(1) Si l'étiquette est venue de l'étiquette (comme la plupart du même ensemble de données), c'est un rôle de surveillance.

(2) Si l'étiquette est d'obtenir à partir des données, alors c'est dans ce cas, nous pouvons les générer automatiquement, un auto-apprentissage supervisé.

Des recherches récentes ont fait beaucoup au nom de la tâche. Les plus courants sont:

(1) la rotation d'image (Rotation)

(2) Assemblage d'images (puzzle)

(3) l'image colorée (colorisation des images)

(4) la restauration d'image (image inpainting)

(5) générer une image / vidéo (image / vidéo à l'aide Génération GAN) avec Gans

• Adresse Papers: https: //arxiv.org/abs/1902.06162

Source: « L'auto-apprentissage supervisé d'effet visuel avec les réseaux profonds Neural: Une enquête »

Au cours de la formation supervisée de notre réseau de formation afin d'apprendre le nom de la tâche. De même, l'étiquette utilisée pour former la génération automatique d'une pseudo cible en conformité avec les données elles-mêmes. Après la formation, nous apprenons habituellement à des fonctions visuelles comme une tâche d'application des connaissances à l'aval (tâche en aval).

En général, la tâche en aval peut être tout contrôle. L'objectif est d'améliorer les propriétés caractéristiques de supervision des tâches d'auto en aval.

Le plus gros problème est généralement la tâche des données en aval est limitée et surajustement. Ici, nous pouvons voir la convolution réseau de neurones pré-formation de similarité basée base de données d'annotation à grande échelle (comme IMAGEnet) étude de la migration commune. Mais il y a un avantage clé: nous pouvons modéliser pré-formé sur une vaste base de données grâce à une formation incroyable auto-surveillance sans se soucier de l'étiquette humaine.

De plus, il y a une légère différence entre le nom de la tâche et les tâches de classement général. tâche de classification pure, l'apprentissage de l'espace de représentation afin de caractériser la séparation des classes. Dans l'auto-apprentissage supervisé, la tâche est généralement le nom du réseau conduira à l'apprentissage des concepts plus généraux.

Dans cette image, rendant les tâches au nom d'un exemple: Pour une image de bonne couleur, le réseau doit apprendre à usage général, ces caractéristiques expliquent les caractéristiques des objets dans les données, y compris la forme de l'objet, la texture en général, sensible à la lumière, les ombres, l'occlusion.

En bref, en abordant le nom de la tâche, le réseau apprendra la traduction facile à apprendre de nouvelles fonctionnalités sémantiques du problème. En d'autres termes: Notre objectif est jamais marqué avant d'effectuer la surveillance des données utiles pour caractériser l'apprentissage.

4. Conclusion

Auto-apprentissage supervisé afin que nous ne pouvons pas avoir la caractérisation à grande échelle de la qualité des données marquées peuvent être obtenues, mais nous pouvons utiliser une grande quantité de données non marquées et d'optimiser le prétexte des tâches prédéfinies. Ensuite, nous pouvons utiliser ces fonctions pour apprendre de nouvelles tâches manque de données.

Peut se référer à la documentation originale: https: // towardsdatascience .com / Auto-supervisé-apprentissage-et-les-quête pour réductrices-étiquetés données-en-deep-apprentissage-db59a563e25b? Gi = 60c8260b84fc