Ji-won nouveau rapport

Computer Association Amérique du Nord chinois Scholars (Association des chinois spécialistes en informatique, ACSIC) a pour mission d'aider et de faciliter la contribution des membres de la communauté, de promouvoir la science informatique, la technologie et l'éducation.

ACSIC avec d'autres institutions scientifiques et les entreprises à coopérer pour accomplir sa mission grâce à des possibilités d'échange d'informations et de collaboration entre les membres offrent des bourses amélioration de la visibilité et de l'adhésion, les organisations sociales et les activités techniques, ainsi.

Les premiers nord chercheurs américains de l'ordinateur chinois calculeront la fine pointe de la technologie Symposium (Le premier Symposium sur ACSIC frontières en informatique, SOFC) tenue à Chicago en Juin 20179-10. objectifs de la Conférence: (1) explorent les questions de pointe de la technologie informatique; (2) promouvoir les échanges et la coopération des informaticiens chinois; (3) un consensus informatique chinois des savants.

Lors de cette réunion, les informaticiens chinois a prononcé un discours:

• Ming Li, Waterloo (ACM Fellow, IEEE Fellow)

• Bing Liu, Université de l'Illinois à Chicago (ACM Fellow, AAAI Fellow, IEEE Fellow)

• Yuan Xie, Université de Californie, Santa Barbara (IEEE Fellow)

• Lixia Zhang, Université de Californie, Los Angeles (ACM Fellow, IEEE Fellow)

• Zhang Xiaodong, l'Ohio State University (ACM Fellow, IEEE Fellow)

• Zhou Yuanyuan, Université de Californie, San Diego (ACM Fellow, IEEE Fellow)

Keynote sujet Discours couvre les systèmes informatiques, les réseaux, l'architecture, les algorithmes, l'intelligence artificielle, la science informatique, plusieurs direction générale. La réunion a également sur la « technologie informatique de pointe » (Frontiers in Computing) a tenu un forum.

Parmi eux, l'Université de l'Illinois à Chicago professeur Liu Bing, un discours intitulé "machine d'apprentissage tout au long du bâtiment", impliquant "Lifelong Learning Machine" (Lifelong Learning machine, LML) est étroitement lié au concept de l'apprentissage de la machine.

Ce qui suit est le texte intégral du professeur Liu Bing PPT.

machine à l'apprentissage continu

Liu Bing

Chicago Department of Computer Science, Université de l'Illinois

paradigme d'apprentissage classique (ML1.0)

apprentissage monotâche isolé: étant donné un ensemble de données, exécutez un algorithme ML, puis construire un modèle.

• Il ne prend pas en compte aucune connaissance préalable de la science

« Apprentissage isolé » faiblesse: aucune réserve ou acquis l'accumulation de connaissances, c'est-à-dire, pas de mémoire.

• Il nécessite beaucoup d'exemples de formation.

• Restrictions applicables à l'environnement des tâches clairement définies étroite.

• Pas d'auto-motivation et l'auto-apprentissage

Machine Learning: ML 2.0

L'humanité n'a jamais été une étude isolée: Les humains apprennent en permanence

• L'accumulation des connaissances acquises dans le passé, et les utiliser pour en savoir plus;

• Efficacement à partir d'un petit échantillon d'apprentissage et d'auto-motivés.

machine à l'apprentissage continu (LML):

• Cette capacité à l'apprentissage humain imitate

Les humains ne sont pas l'apprentissage dans l'isolement

• Personne ne me donnera 1000 et 1000 positif voiture de commentaires négatifs, alors laissez-moi aller construire un classificateur pour classer les examens de voiture.

• Je ne pas besoin de commentaire à la formation peut être fait, parce que je sais déjà comment les gens louent et les choses désobligeantes.

• Si je ne l'avais pas accumulé des connaissances, je ne peux pas le faire. Par exemple, je ne comprends pas l'arabe, même si quelqu'un m'a donné 2000 écrit en arabe positifs / commentaires négatifs à la formation, je ne peux pas apprendre.

contour

• La définition de l'apprentissage tout au long

• Sur la base de la connaissance de l'apprentissage global à vie

• Le savoir local est basé sur l'apprentissage continu

• La conscience de soi et l'apprentissage auto-motivés

• L'utilisation d'un apprentissage continu graphique

• Essai ou la mise en uvre de l'apprentissage

• résumé

La définition de l'apprentissage tout au long

définition LML

• Les apprenants pour compléter une série de tâches à apprendre de 1 à N.

• Face à la (N + 1) ième tâche, il utilise la base de connaissances (base de connaissances, KB) connaissances pertinentes pour aider l'apprentissage de la (N + 1) tâche.

• Après avoir appris la (N + 1) ème mission, le premier (N + 1) tâche de mettre à jour les résultats d'apprentissage de la base de connaissances.

Système d'apprentissage de la machine de la vie (du schéma)

Les principales caractéristiques de LML

• processus d'apprentissage continu: apprentissage non seulement dans le processus de formation, et d'apprendre à utiliser le modèle ou l'exécution

• La connaissance est conservé et accumulé dans la base de connaissances: une meilleure connaissance

• Utiliser et adapter les connaissances acquises dans le passé pour aider les futurs apprentissage et la résolution de problèmes

l'apprentissage de transfert, l'apprentissage tout au long apprentissage multi-tâches

l'apprentissage de transfert par rapport à LML

• La migration est pas l'apprentissage continu

• l'apprentissage de transfert ne conserve pas ou accumuler des connaissances

• Transfert d'apprentissage une seule direction: pour aider les zones cibles

apprentissage multi-tâche par rapport à LML

• En plus de l'apprentissage multi-tâche de conserver les données, mais ne conserve pas les connaissances

• Quand il y a beaucoup de tâches, il est difficile de réapprendre

L'apprentissage en ligne est multi-tâches LML

Sur la base de la connaissance de l'apprentissage global à vie

Deux types de partage des connaissances

Global Knowledge (connaissance globale) : LML de nombreuses méthodes existantes supposent l'existence d'une tâche globale partagée structures latentes (structure latente globale).

• Cette structure globale peut aller à l'école et tirer profit du processus d'apprentissage d'une nouvelle tâche.

• Ces méthodes proviennent de l'apprentissage multi-tâches.

• Mission devrait provenir du même domaine.

ELLA: algorithme d'apprentissage continu efficace

• ELLA basé GO-MTL, méthode d'apprentissage multi-tâches pour le traitement par lots.

• ELLA est une ligne d'apprentissage multi-tâches, plus efficace et peut gérer un grand nombre de tâches. ELLA est une approche d'apprentissage à vie, le modèle peut effectivement ajouter de nouvelles tâches, chaque modèle de la mission passé peut être rapidement mis à jour.

Méthodes: connaissance globale partagée

Chaque paramètre de modèle vectoriel

Il est le vecteur de poids

Les paramètres du modèle de base L et une formule de combinaison linéaire tel que:

(Kumar et al., 2012).

La fonction objectif initial comme indiqué dans le PPT.

Le savoir local est basé sur l'apprentissage continu

Les deux types de connaissances

• Les connaissances locales (de connaissances locales): Beaucoup d'autres méthodes n'ont pas la structure globale sous-jacente entre les tâches.

• Lors de l'apprentissage d'une nouvelle tâche, ils ont besoin de choisir une connaissance a priori être utilisé conformément à la nouvelle tâche. Ceux-ci sont simplement appelés les connaissances locales, il ne dispose pas d'une structure continue globale.

• Les connaissances locales peuvent être partagées transversale.

classement de sentiment à vie

objectifs: Le document classifié ou phrase est + ou -. Nécessité de marquer manuellement un grand nombre de données de formation dans chaque région, ce qui est une grande quantité de travail.

Eh bien, nous ne devons pas être étiquetés comme les données pour chaque champ, ou au moins réduire le nombre de documents à marquer / phrase il?

Une méthode simple LML

Supposons que nous avons fourni un grand nombre de connaissances de domaine marqué de toutes les données passées D:

• Utilisez D pour créer le classement, les tests sur les nouveaux domaines (Remarque: Parce que le transfert d'apprentissage fonctionne pas très bien, seulement un dernier domaine / domaine source)

• Dans de nombreux cas, la précision peut être augmentée jusqu'à 19% (= 80% -61%). Pourquoi?

• Dans d'autres cas, le résultat est très bon, par exemple, des jouets pour les sans effet de commentaire. Pourquoi?

La fonction objectif (voir la figure)

En punissant les connaissances d'avant-garde

Deux types de termes de pénalité sont les suivantes:

• Niveau de document de connaissances;

• connaissances sur le terrain

Un résultat:

• Gauche: domaine naturel ayant fraction stade de la distribution de la classe #past F1 négative de LSC.

• A droite: LSC ayant une distribution de champ de classe de précision #past égalisé.

Thème de vie Modélisation (LTM)

Déclaration « bonne batterie, mais pauvre appareil photo, » où les entrées thématiques sont les suivantes: batterie, appareil photo

Extrait le thème contient en fait deux tâches:

Extrait thèmes clés: "Image", "Photos", "batterie", "Power"

Clustering (groupe de synonymes): Les mêmes aspects: { "image", "image"}, { "batterie", "puissance"}

Bon modèle (Blei et al 2003) en même temps accomplir des missions. Le thème est un aspect, par exemple, {prix, coût, pas cher, cher, ...}

L'observation clé critique sur ce produit

• Dans un examen des différents produits, un grand nombre de thèmes se chevauchent.

• Chaque produit a un examen de l'aspect: prix;

• La plupart des produits électroniques partagés aspect: la performance de la batterie;

• De nombreux produits sont également partagés aspect: l'écran.

• Ce concept interdisciplinaire / partage des connaissances est commun.

• Au cours de l'étude ne prend pas avantage de ce partage est un peu ridicule.

Quelles sont les connaissances?

• Appartiennent au même aspect / topic = >  MUST-Liens: par exemple, {image, photo}.

• Ne pas appartenir à la même aspect / topic = >  Can not-Liens: par exemple, {batterie, image}.

LTM: Modélisation thème à vie

Méthodes: partager les connaissances locales

• Une certaine connaissance d'une mission / champ précédent peut être utilisé pour une nouvelle tâche, par exemple, {prix, coût} et {prix, cher} devrait appartenir au même thème.

La conscience de soi et l'apprentissage auto-motivés

accumulation consciente de l'apprentissage

• L'apprentissage traditionnel supervisé est une hypothèse mondiale fermée: classe de test est déjà vu dans la formation, c'est-à-dire, il n'y a pas de données pour tester la nouvelle classe.

• Ce n'est pas le cas de beaucoup environnement dynamique, les nouvelles données peuvent être inclus dans la nouvelle catégorie de documents.

• Nous devons être ouverts dans le classement mondial, la détection d'une nouvelle catégorie de documents, c'est-à-dire, il est nécessaire de se rappeler le savent déjà, mais aussi d'explorer l'inconnu.

LML d'apprentissage cumulatif

L'utilisation d'un apprentissage continu graphique

l'apprentissage tout au long de la propagation de l'étiquette (de labelpropagation) dans

Étiquetage de relaxation (RelaxationLabeling, RL) est un algorithme basé sur les graphes sans supervision de la propagation de l'étiquette, il peut être étendu par l'apprentissage tout au long (Lifelong-RL), pour tirer profit des tâches déjà appris des connaissances.

Marquage de détente (RL)

• La figure par le noeud (noeud) et de la composition de bord (Edge).

• Noeud: objets de marque

• Tranche: relation binaire entre deux noeuds.

Relaxation vie étiquetage (Lifelong-RL)

utilisation tout au long-RL deux formes de connaissances

• bord antérieur: la figure généralement pas donné ou fixe, mais est construit à partir des données de texte. Si les données est faible, vous risquez de perdre beaucoup de bord, mais ces bords peuvent exister en raison de certaines tâches dans le précédent.

• étiquette précédente: initiale P0 (L (ni)) est difficile à mettre en place, mais vous pouvez utiliser les résultats de la tâche précédente définis avec plus de précision.

De la Lifelong-RL SA à la tâche

Question: perspectives sur l'étiquette cible

• L'entité de séparation et aspect, par exemple, dans « Bien que le moteur est un peu faible, cette voiture est grande. » Dans ce point de vue, est l'entité « voiture », l'aspect est le « moteur ».

• extraction de l'objet (extrait de la cible) sont souvent incapables de faire la distinction entre les deux.

Le problème de l'utilisation de l'approche de l'apprentissage continu: le partage de bord, entité et aspect, ainsi que de partager leur étiquette transversale.

l'architecture tout au long-RL (voir la figure)

Relation modificateur représente le bord, et l'aide Typemodifier régler l'étiquette précédente.

exécution d'études ou de test

Amélioration du modèle dans la mise en uvre de

• Dans le marquage manuel des étiquettes inutiles formation, la performance du modèle peut l'améliorer?

• Cet article propose une technique utilisant des informations de contexte extrait CRF modèle amélioré.

• Il utilise des propriétés de dépendance, comme plus de modèles de données, plus de fonctionnalités ont été identifiées. Ces caractéristiques permettent de produire de meilleurs résultats avec le même modèle dans le nouveau domaine.

résumé

• Cette conférence présente le LML Dans certaines applications de la PNL

• LML la recherche est encore à ses débuts, compréhension très limitée LML, l'étude a porté sur un seul type de système de tâches. LML de grandes quantités de données doivent apprendre beaucoup de différents types de connaissances.

LML Il existe de nombreux défis, tels que:

• Du savoir Exactitude

• L'applicabilité des connaissances

• Représentation des Connaissances et Raisonnement

• En savoir plusieurs types de tâches

• L'apprentissage auto-motivé

• Une combinaison de l'apprentissage

• Dans l'étude de l'interaction humaine avec le système

(Merci à la chanson Shi Wei, Lu Shan ont aidé deux enseignants fournies dans le rapport!)

Cliquez ici pour lire l'original pour voir de nouveaux emplois Ji-won