Lei Feng réseau par AI Technology Review: Avec l'étude de la technologie de l'intelligence artificielle a traversé la croissance barbare au début, est entré dans l'eau profonde. Comment utiliser pleinement les informations d'annotation manuelle, réduire la marque de la charge de travail, l'expérience humaine et l'apprentissage des règles pleinement intégré les questions clés doivent être résolus! Dans cet article, les progrès de la recherche en laboratoire AI Stanford dans le domaine de la faiblesse de l'apprentissage supervisé, la réalisation et de la pensée connexe, la théorie faible de la supervision de l'apprentissage, des outils d'annotation, pour discuter des progrès de la recherche dans trois domaines.

Ces dernières années, l'impact de l'apprentissage de la machine dans le monde réel est de plus en plus. En grande partie, cela est dû à l'émergence d'une variété de modèle d'apprentissage en profondeur, afin que les employés peuvent, vous pouvez obtenir le meilleur score sur les ensembles de données de référence comparatifs actuels sans avoir recours à tout système de fonctionnement manuel du projet. Maintenant, nous pouvons l'utiliser comme tensorflow et PyTorch toutes sortes de cadre d'apprentissage de la machine open-source, ainsi qu'un grand nombre des plus avancés modèles disponibles, on peut dire, des modèles d'apprentissage machine de haute qualité maintenant presque devenir une ressource commercialisable. Ici, cependant, il y a un problème facilement négligé: ces modèles reposent sur un grand nombre d'annotation manuelle des données de formation.

Cependant, dans de nombreuses tâches, ces formations mis en place marquer manuellement la création de coûteux et prend du temps, prend habituellement plusieurs mois ou années, le nombre de coûts pour recueillir les données, le nettoyage et la mise en service - en particulier dans le besoin d'expertise dans le domaine de cas. En outre, la tâche changent souvent et l'évolution va se passer dans le monde réel. Par exemple, des lignes directrices en matière d'étiquetage des données, granularité ou l'étiquette cas d'utilisation en aval sont souvent le changement, besoin de re-marque (par exemple, non seulement à un examen classé comme classe positive ou classe négative, mais aussi l'introduction d'une catégorie neutre). Visible, en raison de la nécessité pour le marquage de données coûteuses, ces informations de surveillance fort est difficile à obtenir. Par conséquent, les chercheurs sont confrontés à des problèmes urgents données marquées, l'intégration du concept existant d'apprentissage actif, l'apprentissage semi-supervisé, recherche, proposé « faible apprentissage supervisé », conçu pour étudier les signaux faibles pour construire des prévisions de surveillance modèle.

théorie de l'apprentissage supervisé Faiblement

une faible surveillance est généralement divisé en trois types: surveillance incomplète, la surveillance imprécise, supervision inexacte.

(1) partiellement Supervisé , Se référant aux données de formation ne sont que partiellement avec l'étiquette, alors que de grandes quantités de données ne sont pas cochées. C'est la plus courante causée par l'état des coûts élevés en raison de l'impossibilité d'obtenir marqué signal fort complet de surveillance, par exemple, d'engager des experts dans le domaine directement aux grandes quantités de données à coût d'étiquette est assez élevé. En outre, lors de la construction de grands ensembles de données pour les études d'imagerie médicale, les radiologues peuvent ne pas être prêts à accepter des petites faveurs à des données de marque pour vous. Et selon assez parce que les médecins souvent l'expérience de l'auteur, et non pas en profondeur pour la compréhension des données scientifiques, il y a marqué résultats de nombreuses données (par exemple, la division des tâches profil de lésion encadré) ne peut pas être utilisé, ce qui a beaucoup fait un manque d'échantillons de formation étiquetés efficaces . Le problème peut être formellement exprimée comme suit:

Dans le cas de données d'apprentissage D = {(x 1, y_1), ..., (x_l, y_l), x_ {l + 1}, ..., x_m}, où l'étiquette de données de l, u = ml de données sans étiquettes formation get f: X- > y.

Dans de nombreux paradigmes d'apprentissage de la machine pour ne pas complètement développé dans l'environnement de contrôle, l'apprentissage actif, l'apprentissage semi-supervisé, la mobilité d'apprentissage sont le paradigme trois d'apprentissage le plus populaire.

• active Learning (Apprentissage actif): On suppose que la valeur réelle de l'étiquette des données peut être non marqué à des experts humains interrogé, nos experts estiment que le modèle de données les plus précieux point marqué avec des étiquettes (plus de détails, voir: Résumé Settles et al en 2012 article). Dans la mesure on ne considère que le coût d'un certain nombre de requêtes marqué, l'objectif d'apprentissage actif est d'améliorer l'efficacité requête, le nombre de demandes de renseignements le plus petit possible, le modèle permet la meilleure performance de la formation. Par conséquent, le besoin d'apprentissage actif pour sélectionner les données les plus précieuses non marquées à interroger l'expert humain.

  Et mesurer la valeur d'une requête dans l'échantillon, il existe deux normes sont le plus largement utilisé: la quantité d'information et de représentation. La quantité d'information est une mesure de la mesure dans laquelle des données non marquées peuvent réduire modèle statistique de l'incertitude, qui est une mesure d'un échantillon représentatif de la façon dont la distribution représentative du modèle d'entrée. Les deux méthodes présentent des inconvénients importants. mesure en fonction de la quantité d'information, y compris l'incertitude de l'échantillonnage et les requêtes de vote, son principal inconvénient est que, pour établir le choix du modèle initial, l'exemple de requête souhaitée, comptent beaucoup sur le marquage des données, et lorsque la taille de l'échantillon est faible représentation, les performances d'apprentissage généralement instable. Des procédés représentatifs pour donner un inconvénient majeur en ce qu'elle repose en grande partie sur la performance du contrôle des données de résultat de regroupement non marqué. À l'heure actuelle, les chercheurs tentent de combiner ces deux approches sont complémentaires. Par exemple, nous pouvons choisir d'être à proximité du modèle actuel de photographies de rayons X du sein limite de décision, et de demander au radiologue de marquer seulement ces images. Mais nous pouvons demander que les points de données plus faible surveillance, dans ce cas, l'apprentissage actif est le complément parfait pour faible apprentissage supervisé, des exemples plus détaillés de référence (Druck, Settle et McCallum publié en 2009 papiers).

Apprentissage semi-supervisé (Apprentissage semi-supervisé): avec différents apprentissage actif, l'apprentissage semi-supervisé est une donnée sans étiquette à analyser en l'absence d'experts humains impliqués dans l'affaire, avec le paradigme de l'apprentissage. En règle générale, mais pas explicitement information sur l'étiquette échantillon non marqué, mais la diffusion de leurs données avec la distribution échantillon marqué est souvent associée à de telles propriétés statistiques du modèle de prédiction est très utile.

En effet, l'apprentissage semi-supervisé pour la distribution des données, il y a deux hypothèses: multiples d'hypothèses de cluster et hypothèses.

Le premier est intrinsèquement supposé que la structure de regroupement de données, dès lors, dans le même groupe dans le même type d'échantillon. Ce dernier est supposé que les données sont réparties sur un collecteur, le collecteur dans des échantillons similaires avec des résultats similaires prévus. Vu, l'essence de deux données d'entrée hypothétiques sont similaires devraient avoir une sortie similaire. Donc, la meilleure façon de mesurer la similitude entre les points d'échantillonnage, comment tirer parti de ce modèle de similitude pour aider à prédire, est la moitié de la clé de supervision d'apprentissage. Méthode d'apprentissage semi-supervisé comprend: approche de génération, sur la base du procédé de la figure, une faible procédé de division de densité, une méthode basée sur les différences. Dans cet article, pas grand-chose ici pour aller dans la méthode spécifique, s'il vous plaît se référer à l'enseignant Zhou Zhihua dans l'article de revue « Une brève introduction à l'apprentissage faiblement supervisé. »

l'apprentissage de transfert (Apprentissage de transfert): L'apprentissage de migration a été largement étudiée au cours des dernières années, le paradigme de l'apprentissage enivrant, sa capacité inhérente à apprendre la pensée humaine est « donner la priorité à » améliorer l'utilisation des données. Plus précisément, la définition de l'étude de la migration sont: domaine des tâches actives Ds et Ts, domaine cible Dt et tâche Tt, l'objectif est de la migration d'étude en utilisant les connaissances du domaine source pour résoudre le domaine cible fonction de prédiction f, à condition que le domaine source et domaine cible ne sont pas la même tâche ou les tâches du domaine source et le domaine cible ne sont pas les mêmes que . Dans la migration de l'étude de recherche antérieure, la migration étude est considérée comme un « apprentissage de transfert direct push », « l'apprentissage de transfert inductif » et « l'apprentissage de transfert non supervisé. »

Avec le développement rapide de l'apprentissage en profondeur à « la migration en profondeur basée sur l'exemple de l'apprentissage », « migration en profondeur basée sur la cartographie de l'apprentissage », « réseau d'apprentissage basé sur la migration en profondeur » et « migration en profondeur basée sur l'apprentissage de la confrontation » en tant que représentant de l'étude de la migration de profondeur Paradigm a également été une préoccupation des chercheurs (pour plus de détails, s'il vous plaît se référer au document « une enquête sur le transfert d'apprentissage en profondeur », https: //arxiv.org/pdf/1808.01974v1.pdf). Par exemple, on peut déjà avoir un grand nombre de formation de tumeurs ailleurs dans le corps, ainsi que la formation sur la base de cette classification, et que vous souhaitez appliquer à nos tâches d'inspection à rayons X du sein. Au moment des communautés d'apprentissage en profondeur, une approche commune est de transférer l'apprentissage sur un vaste ensemble de données du modèle « pré-formation », puis être « à l'écoute » sur la tâche d'intérêt. En raison de l'apprentissage de transfert est devenu un champ d'étude indépendant, ce document ne migre pas le contenu d'apprendre à faire trop d'expansion.

(2) supervision Inaccurate Que l'exemple d'étiquette de formation seulement à gros grains. Par exemple, pour une image, pour avoir une vue d'ensemble des catégories d'étiquetage, et des photos de chaque entité (par exemple) ne sont pas l'étiquette d'information supervisée. Par exemple: Lorsque nous classons un coffre images à rayons X, nous savons seulement qu'une image est poumons l'image de la pneumonie du patient, mais ne sait pas quelle partie de la réponse à une image spécifique montre le propriétaire de l'image avec la pneumonie . Le problème peut être formalisé comme:

tâche d'apprentissage f: X - >  Y, qui est l'ensemble d'apprentissage en tant que D = {(X_1, y_1), ..., (X_m, y_m)}, où X_i = {x_ {I, 1}, ..., x_ {I, m_i}}, X_i appartenant à X, X_i il appelle un paquet, échantillon x_ {i, j} appartient X_i (j appartient à {1, ..., m_i}). m_i est le nombre d'échantillons dans X_i, y_i appartenant Y = {Y, N}. Quand il x_ {i, p} est des échantillons positifs, il est un paquet X_i positif, où p et p est inconnu appartient à {1, ..., m_i}. modèle cible est de prédire l'étiquette de l'emballage inconnu.

l'apprentissage multi-instance a été appliquée avec succès à une variété de tâches, telles que: la classification, la recherche, l'annotation, la classification de texte, la détection de spam, le diagnostic médical, le visage, la détection d'objets, découverte de classe d'objets, le suivi cible.

(3) supervision Inaccurate Cela étant donné l'étiquette est pas toujours vrai. Il y a plusieurs raisons à cela, comme: la marque du personnel limité leur propre niveau, le processus d'étiquetage négligente, l'étiquetage difficile. L'apprentissage est un cas typique de l'apprentissage étiquette dans des conditions bruyantes inexactes. Récemment, un moyen très populaire d'utiliser le crowdsourcing aux modèles virés de données de formation est également devenu un des domaines d'application importants paradigme imprécis d'apprentissage supervisé.

La figure 1 est une vue schématique de trois types de faible apprentissage supervisé .

outil d'apprentissage supervisé Faiblement: Snorkel

paradigme d'apprentissage mentionné ci-dessus afin que nous ne pouvons pas trouver un des collaborateurs experts des domaines de formation supplémentaires marqués étiquette. Cependant, pour certaines données de marquage, il est inévitable. Si nous avons besoin de l'utilisation de différents types de données est marquée par un niveau plus élevé, ou une forme moins précise de la surveillance, afin de pouvoir plus rapidement et facilement offrir, ont un effet sur l'étiquette de données au travail? Par exemple, les radiologues passent un après-midi pour marquer un ensemble de règles heuristiques ou d'autres ressources, si fait correctement, ces ressources seront en mesure de remplacer efficacement les milliers d'étiquettes de formation, afin qu'ils puissent travailler avec les données marquées à quel rôle?

La connaissance du domaine de l'injection de l'intelligence artificielle

D'un point de vue dimension historique, en essayant d'être l'intelligence artificielle « programmée » (c.-à-injecté connaissances de domaine) est rien de nouveau - mais cette nouvelle question à explorer est secondaire, IA, bien que toujours dans le interprétabilité et la contrôlabilité ou une « boîte noire », mais il n'a jamais été plus fort en termes de performance.

Les années 1970 et 1980, le système d'experts est au centre de recherche en intelligence artificielle, et il vient du fait que les règles établies par des experts dans le domaine de combiner manuellement la base de connaissances et un moteur d'inférence pour les appliquer. Années 1990, l'apprentissage machine que les connaissances seront intégrées dans le système d'outils d'intelligence artificielle, ont commencé à se développer, il devrait atteindre les données de formation étiquetés manuellement de la machine à un moyen puissant et flexible aux données de formation étiquetés automatiquement.

méthodes d'apprentissage automatique classique (non) Learns ont généralement deux experts dans le port d'entrée sur le terrain. Tout d'abord, la complexité de ces modèles sont généralement beaucoup plus faible que le modèle moderne, ce qui signifie que vous pouvez utiliser une plus petite des données d'annotation manuelle d'échelle. D'autre part, ces modèles reposent sur la conception manuelle dispose que les données de codage, et modifier la représentation du modèle de base de l'interaction fournit une méthode directe. Cependant, en général, passés et présents, présente des uvres sont considérées comme la tâche des experts d'apprentissage de la machine, ils seront généralement caractérisés par des tâches de conception spécifiques tout au long de carrière, le Dr.

Regardons modèle d'apprentissage en profondeur: En raison de leurs tâches automatiquement sur plusieurs domaines et le pouvoir d'apprentissage de la représentation, ils évitent la fonction de tâche fonctionne dans une large mesure. Cependant, la plupart d'entre eux sont complètement boîte noire, en plus de développeur ordinaire peut marquer beaucoup de l'ensemble de la formation et les adapter à l'infrastructure de réseau, mais presque impossible de les contrôler. En grande partie, ils sont du mauvais côté des fragiles, mais les règles du système d'experts faciles à contrôler de l'ancien - ils sont flexibles, mais difficiles à contrôler.

Cela nous donne un angle légèrement différent à nouveau de retour à la question initiale: Comment pouvons-nous utiliser nos connaissances de domaine ou d'expertise pour les tâches de segment programme modèle d'apprentissage profond moderne? Il n'y a aucun moyen directement de la flexibilité actuelle et la puissance de ces méthodes d'apprentissage de la machine à combiner l'ancien système expert fondé sur des règles?

Utilisez le code supervision: système d'apprentissage de la machine d'entraînement programmée

système Snorkel est un laboratoire d'IA de Stanford à l'aide et explorer ce nouveau type d'interaction avec des modèles d'apprentissage de la machine ont été construits. En Snorkel, ils ne sont pas des données de formation étiquetés manuellement, mais nécessite l'utilisateur d'écrire la fonction d'étiquetage, à savoir, la boîte noire snippet des sous-ensembles de données non marquées pour l'étiquetage.

Ensuite, les chercheurs peuvent utiliser un ensemble de ces fonctions à marquer comme modèles d'apprentissage machine étiquetés données de formation. Étant donné que l'étiquette est simplement une fonction de segments de code arbitraire, ils peuvent coder tout signal: le mode, heuristiques, sources de données externes, tous les paquets de balises de personnel bruyants, classificateurs faibles et similaires. De plus, ils sont également étiquetés d'autres avantages connexes en fonction du code spécifique, tels que la modularité, réutilisabilité et debugability. Par exemple, si les objectifs de modélisation du changement, ils peuvent ajuster la fonction d'étiquetage pour adapter rapidement à ce changement!

Bien sûr, un problème Snorkel est marqué par une fonction pour générer un bruit de sortie, ces sorties peuvent être re-fusion des conflits, ce qui entraîne moins de l'étiquette d'entraînement idéal. En Snorkel, ils utilisent la méthode de programmation de données pour débruitage ces balises, le procédé comprenant trois étapes:

• 1. La fonction d'étiquetage pour les données non marqué.

• 2. La précision d'une fonction de génération d'étiquette d'apprentissage du modèle en l'absence de toutes les données marquées, et en conséquence leur pondération de sortie. Le modèle généré peut même apprendre automatiquement leurs structures connexes.

• 3. Le modèle génère un ensemble de probabilités de sortie d'étiquettes de formation, ces étiquettes après leur utilisation pour former un modèle discriminant puissant et flexible (par exemple, la profondeur du réseau de neurones), il sera généralisée à une fonction en dehors de la marque de signal indiqué.

Ce flux de travail complet peut être vu de fournir un simple, des méthodes robustes, et le modèle d'apprentissage machine modèle indépendant « programmé. »

fonction horodatation

AI Lab Stanford, a déclaré l'extraction de la littérature biomédicale dans l'information structurée est l'un des plus inspirant leur application: beaucoup de verrouillage des informations utiles de millions de textes non structurés intensifs d'articles scientifiques dans. Ils veulent utiliser des techniques d'apprentissage machine pour extraire ces informations afin qu'ils partenaires biomédicaux peuvent utiliser cette information pour diagnostiquer les maladies génétiques.

Pour extraire une sorte de « chimique - maladie » des relations de travail de la littérature scientifique, ils ne peuvent pas avoir une assez grande échelle ensemble de données de formation étiquetée pour accomplir cette tâche. Cependant, dans le domaine biomédical, il y a une richesse de la connaissance du corps, des dictionnaires et d'autres ressources, y compris une variété de la chimie du corps et la connaissance des noms des maladies, divers types de produits chimiques connus - base de données de la relation de la maladie, les chercheurs peuvent utiliser ces faibles ressources de surveillance pour assurer leur tâche. De plus, ils peuvent également présenter une série de heuristiques spécifiques à une tâche particulière avec les partenaires biomédicaux, modèles d'expression régulière, les règles de stratégie de génération d'étiquettes pouce et négative.

Le modèle résultant est utilisé comme un vecteur d'expression

Dans la méthode du laboratoire d'IA de Stanford, ils croient fonction de la marque décrit implicitement un modèle de génération. Récapitulons rapide: point de données donné x, veulent y prédire l'étiquette inconnue, ils directement P (y | x) dans la modélisation des processus de discrimination, générant dans le processus de P (x, y) = P (x | y) la modélisation de P (y). Dans le présent mode de réalisation, ils P (L, y) désigné par le procédé de modélisation de l'ensemble d'apprentissage, dans lequel L est généré par l'objet fonction label d'étiquette x, y sont la balise de valeur réelle respective (inconnu). En apprenant à générer le modèle, et une estimation directe P (L | y), ils ont essentiellement d'apprendre la précision relative de la fonction d'étiquetage en fonction de la lourdeur de leur conflits de fusion (d'attention à est que cette affaire n'a pas besoin de savoir y!)

Ils utilisent le modèle de génération estimée, la formation peut percevoir un bruit dans la version finale de la fonction marquée modèle discriminante. Pour ce faire, nous générons un modèle de probabilité de déduire les données de formation d'étiquettes inconnues, puis ils minimisent la perte attendue sur ces probabilités de modèle discriminante.

Ces modèles génèrent des estimations des paramètres peut être très difficile, surtout quand il y a une dépendance statistique entre l'étiquette utilisée par la fonction. Dans le document intitulé « Programmation des données: Création de grands ensembles de formation, rapidement » (https://arxiv.org/abs/1605.07723), les auteurs ont prouvé que dans les conditions données fonction d'étiquetage suffisante peut être obtenue avec la même méthode de surveillance . Pendant ce temps, le papier a également étudié le cas de la façon de ne pas utiliser les données de l'étude marquée corrélation marquée entre la fonction sous et la façon d'améliorer considérablement les performances.

cadre Snorkel

Dans (https://arxiv.org/abs/1711.10160) papier Snorkel sur le laboratoire AI Stanford a récemment publié, ils ont trouvé dans une variété d'applications pratiques, cette nouvelle méthode est très efficace et un modèle moderne de la machine d'apprentissage interactif! Parmi les faits saillants comprennent:

• 1. Susciter Centre a organisé un atelier de deux jours sur la recherche de l'utilisateur Snorkel de, ils ont comparé l'efficacité de l'utilisation des experts du domaine enseigner Snorkel, et passer en même temps que les données d'efficacité marquage manuellement. En même temps, ils ont également constaté que l'utilisation de Snorkel construire un modèle non seulement rapide dans la vitesse par 2,8 fois, et la performance des prévisions moyennes ont augmenté de 45,5%.

• 2. Dans les deux cas la tâche d'extraction de texte actuel des relations de coopération avec des chercheurs de l'Université de Stanford, Département américain des Affaires des anciens combattants et aux États-Unis Food and Drug Administration, ainsi que quatre autres textes de référence de comparaison et tâche d'image, ils ont trouvé, et comme l'analyse comparative des performances techniques par rapport à la moyenne Snorkel 132% d'augmentation.

• 3. Ils ont exploré de nouvelles fonctions de modélisation de compromis l'espace de la façon de fournir marquer les utilisateurs, ce qui dans un cycle de développement itératif pour accélérer l'optimiseur à base de règles.

Suivant: faiblement supervisé l'apprentissage de grande envergure multi-tâches

AI Lab Stanford efforts en cours pour étendre le modèle de supervision et de l'interaction faible conçu pour Snorkel d'autres modalités, telles que les données et les images richement formatés, en utilisant des tâches de surveillance en langage naturel et génère automatiquement la fonction d'étiquetage!

Sur le plan technique, leur base des extensions du modèle de données de programmation Snorkel, ce qui rend plus facile de spécifier la fonction marquée avec des interfaces plus haut niveau (comme le langage naturel), ainsi qu'avec d'autres types de techniques d'apprentissage faiblement supervisé (telles que l'amélioration des données) d'intérêt.

Avec le scénario d'apprentissage multi-tâche est de plus en plus commun, il a également soulevé les questions suivantes: Qu'est-ce qui se passe (pas une surveillance précise) lorsque le bruit, qui peut être utile à la source d'étiquettes de marquage multiples tâches connexes maintenant? Pour améliorer les performances peut être modélisé par une surveillance conjointe de ces tâches? Dans une nouvelle version multi-tâches de conscience Snorkel, à savoir Snorkel MeTaL dans la résolution de ces problèmes, qui peuvent à leur tour fournir un appui multi-tâches de supervision faible de la source de bruit avec l'étiquette pour une ou plusieurs tâches connexes?

Un exemple qu'ils considèrent, est situé sur l'étiquette la source de taille différente (de supervision imprécise). Par exemple, disent avoir l'intention de former un modèle de reconnaissance entité nommée grain fin pour marquer des types spécifiques de personnes et de l'emplacement, mais il a déjà une étiquette avec un certain nombre d'à grains fins bruit, telles que le marquage « avocat » et « docteur » ou « banque » et « hôpital », et certains gros grains, comme le marquage « peuple » et « emplacement ». En combinant ces sources représentent différents niveaux de marqueurs associés à la tâche, ils peuvent combiner leur précision de la modélisation et repondération et en combinant leur label multi-tâche pour créer des données plus propres, l'intégration d'une variété de multi-tâches intelligente les données de formation, améliorant ainsi les performances du modèle final d'apprentissage multi-tâches.

laboratoire de Stanford AI ont dit qu'ils croient, est un des aspects le plus pour construire l'apprentissage multi-tâche passionnante du système de gestion des données sera construit mécanisme multi-tâches autour à grande échelle, le rôle de ce mécanisme, des dizaines à des centaines de supervision faible (et par conséquent ) l'interaction des tâches très dynamique avec des moyens divers et complexes.

Bien qu'à ce jour plus d'apprentissage multi-tâches sont prises en compte la plupart des travaux est assurée par un petit nombre de statiques plusieurs tâches marquées manuellement définies dans l'ensemble de la formation, mais le monde se développe rapidement dans un tissu (si les grandes entreprises, des laboratoires universitaires ou communauté en ligne) nécessité de maintenir des milliers de surveillance faible, et des changements rapides dans l'état des tâches de modélisation de l'interdépendance. De plus, ces tâches sont la surveillance faible, les développeurs peuvent en quelques heures ou jours (mois ou années) pour ajouter, supprimer ou modifier des tâches (set de formation), qui peuvent avoir besoin de recycler l'ensemble du modèle.

Dans un article récent, « Le rôle de Massivement multi-tâches et de supervision dans Software 2.0 « dans ( laboratoire AI Stanford ci-dessus certains premier aperçu des problèmes de pensées, scène a imaginé une grande échelle multi-tâches, modèle d'apprentissage multi-tâche qui sera utilisée efficacement en tant que formation des données faiblement marquées par différents développeurs de référentiel central, puis combinés dans une centrale le modèle multi-tâches « mère ». Quel que soit le facteur de forme exacte est, évidemment, beaucoup de technologies d'apprentissage multi-tâches formidables progrès dans l'avenir il y aura - est non seulement une nouvelle architecture de modèle et la migration implique également des méthodes d'apprentissage, la nouvelle méthode de surveillance faible, le nouveau développement de logiciels unifié et paradigme système.

Les derniers progrès dans l'apprentissage plus de surveillance

En tant que de plus en plus d'attention, la grande importance pratique de paradigme d'apprentissage, les chercheurs ont récemment publié un grand nombre d'apprentissage multi-supervisé les dernières recherches lors d'une réunion des domaines importants de CVPR, AAAI, ACL et ainsi sur l'intelligence artificielle. Par exemple:

• Rabinovich et al. (Https://arxiv.org/pdf/1809.01285.pdf) une méthode de supervision faible est conçu pour le cas où aucune donnée de marquage, inférant mots abstraits. Ils utilisent uniquement le contexte de l'utilisation du concept du spectacle minimal des signaux verbaux et les données texte, formation classificateur assez fort pour obtenir une forte corrélation avec l'étiquette humaine.

• Wu et al. (Https://arxiv.org/abs/1805.02333) personnes sur l'ACL 2018 a développé une méthode d'utilisation des données non marquées pour apprendre sélectionnez le modèle correspondant en fonction de la réponse récupérée robot de chat tâches interactives dans un environnement ouvert méthode. Le procédé utilise la séquence - la structure de compensation (de Seq2Seq) en tant que modèle pour déterminer l'étendue de la correspondance de faible étiqueteur non marqué puis les signaux faibles non marqué et les données d'apprentissage.

• Arachie etc. (https://arxiv.org/abs/1805.08877) personnes sur le AAAI 2019 propose une méthode de surveillance faible de la mission de formation de classificateur sans étiquette - étude de l'étiquette conflictuel, la méthode utilise la projection de « primaire -double « descente de gradient de limite supérieure pour minimiser la méthode du taux d'erreur de classification. Cette limite peut être évitée pour minimiser les écarts dans la supervision faibles et dépendants processus.

• Vardazaryan etc. (https://arxiv.org/pdf/1806.05573.pdf) pour les tâches de positionnement d'outils chirurgicaux humains proposés tâches de niveau d'annotation d'image en mode de formation, il peut être utilisé en l'absence d'un espace explicite marqué cas détecté présente des maladies vidéo dans le positionnement de l'outil chirurgical de la vidéo.

• Sur CVPR 2019, Zeng et al. (Https://arxiv.org/pdf/1904.00566.pdf) pour le problème d'annotation d'image au niveau des pixels, propose un modèle de détection saillance visuelle faible surveillance multi-sources, ils ont mis au point un réseau de classification (CNET) et un réseau de génération d'en-tête (PNET), apprend l'image cible de prédiction et pour générer un titre. Ils ont également conçu une perte de migration peut se propager l'attention du signal de surveillance entre le réseau, de sorte que la surveillance par une source de réseau formé pour aider à superviser une formation à utiliser une autre source de réseau de formation.

• Mithun etc. (https://arxiv.org/pdf/1904.03282.pdf) personnes pour la récupération instantanée par requête de texte de la question vidéo à réaliser, conçu un cadre d'apprentissage faiblement supervisé à partir du texte mécanisme d'attention (TGA) adressées à résoudre le problème du coût élevé du marquage de chaque morceau de texte descriptif de la limite de temps vidéo correspondant.

épilogue

Avec l'apprentissage automatique, la recherche axée sur les données dans la partie profonde, les chercheurs sont de plus en plus préoccupés par l'utilisation efficace des données de recherche. Cet article examine la théorie si l'apprentissage supervisé, jamais tout à fait la supervision, la surveillance inexact, imprécis trois superviser examine les progrès de la recherche du champ faible actuel de supervision de l'étude. Plus précisément, selon cet article cadre Snorkel proposé par l'Université de Stanford, décrit la méthode en introduisant des connaissances d'experts dans le domaine des systèmes d'apprentissage de la machine de programmation. Enfin, les examens de papier certains des derniers champ faible apprentissage supervisé les progrès de la recherche.

Article de référence:

Autres références:

Z Zhou H. Une brève introduction à l'apprentissage faiblement supervisé . National Science Review, 2018, v.5 (01): 48-57.

Pan S J, Yang Q. Une enquête sur le transfert de l'apprentissage . IEEE Transactions sur les connaissances et l'ingénierie des données, 2010, 22 (10) :. 1345-1359 Lei Lei filet à mailles