Lei Feng réseau par AI Technology Review: Il y a quelque temps l'article « série Top sera vu et entendu: ACL 2018, la caractérisation et la compréhension des méthodes d'évaluation des données dans l'environnement plus difficile », nous présentons les dernières recherches pour montrer la conférence ACL dans le domaine de la PNL de nouveaux progrès dans le sens du vent et méritent une attention. Il semble que nous devrions montrer la profondeur de l'apprentissage des solutions de la PNL avec confiance de ces nouvelles tendances, mais quand nous la généralisation de discussion très prudent modèle PNL, en fait, la situation est optimiste.

Le gradient article récent sur le blog de discuter soigneusement modèle d'apprentissage de la profondeur de la généralisation des problèmes de champ PNL, montrant beaucoup de réflexion profonde sur les aspects de l'apprentissage, la langue, la profondeur des méthodes d'apprentissage. Avait versé un pot d'eau froide, même si la méthode d'apprentissage de bout en profondeur par rapport à la méthode classique pour tester les tâches, les performances sur l'ensemble des données d'essai a fait de grandes améliorations, nous « résoudre le problème de la PNL » est encore loin d'une distance. Lei Feng réseau AI technologie texte compilé examen comme suit.

« Généralisation » La PNL est un domaine qui est en cours de discussion en profondeur et de l'étude.

Récemment, nous voyons souvent des nouvelles reportages dans les médias et la machine humaine peuvent atteindre des performances équivalentes dans certaines tâches de traitement du langage naturel, encore plus que les humains. Par exemple, lire un document et répondre aux questions sur le document (Ali, Microsoft, IFLYTEK avec HIT et tourne si la liste brosse SQUAD), afin de déterminer si un texte donné contient sémantiquement si un autre texte (http: // www.aclweb.org/anthology/N18-1132), ainsi que la traduction automatique. « Si la machine est en mesure de remplir toutes ces tâches, ils ont certainement une vraie langue compréhension et de raisonnement capacité. » Cela semble argument très raisonnable.

Cependant, ce n'est pas. Beaucoup de nom récent tableau d'études, en fait, le plus avancé du système de traitement du langage naturel comme « vulnérable » (faible robustesse) et « faux » (n'a pas appris la langue réelle de la loi).

Le modèle de langage naturel le plus avancé est « fragile » en

Lorsque le texte est modifié, même si sa signification est préservée, le modèle de traitement du langage naturel échouera, par exemple:

• Jia et Liang, qui a battu le modèle de compréhension de lecture BiDAF (https://arxiv.org/abs/1611.01603).

papier Exemples Jia et Liang et al donné.

• Belinkov et Bisk et al (https://arxiv.org/abs/1711.02173) a battu le modèle de traduction sur la base de caractères de réseau neuronal.

Exemples Belinkov et Bisk, qui a présenté le document. Bleu est un résultat commun du texte de traduction et une ou plusieurs traductions candidats référence algorithme d'évaluation comparative.

Iyyer et ses collègues pour briser une structure arborescente dans les deux sens LSTM ( du modèle de classification de sentiment.

Exemples Iyyer compte tenu de son co-auteur.

Le modèle le plus de traitement du langage naturel avancé est « faux » dans

Ces modèles se rappeler souvent que l'influence humaine et les préjugés, pas vraiment apprendre la loi linguistique, tels que:

• Gururangan et ses collègues ( présente une de base comparative, il est possible de comparer l'ensemble des données de référence de plus de 50% du langage naturel raisonnement échantillons correctement classifiés, sans qu'il soit nécessaire d'observer le principe du texte à l'avance (prémisse).

Exemples Gururangan, qui a présenté le document. Ces échantillons sont prélevés sur les papiers d'affiches.

• Moosavi et Strube ( montre que se réfère à un modèle d'apprentissage en profondeur totale construite tâches analytiques ( toujours dans un pays qui contient « pays » est un nom propre ou un nom commun avec les données de formation apparaît ensemble. Par conséquent, les performances des pays sur le texte du modèle sur les données de formation ne sont pas mentionnés pauvres. En même temps, Levy et ses collègues ont étudié le vocabulaire de reconnaissance pour le raisonnement de la relation entre le modèle deux mots (par exemple, hypernym, mot fort général hypernym appelé un mot spécifique fort). Ils ont constaté que ces modèles n'ont pas appris les caractéristiques de la relation entre les mots, mais Il suffit d'apprendre un mot un mot une paire propriété indépendante: si un mot est un « hypernym typique » (par exemple, mot « animal »).

A gauche: Moosavi et des exemples de papier Strube. À droite: Levy et des exemples de thèse co-travailleurs

• Agrawal et ses partenaires ont indiqué réseau de neurones convolutionnel (CNN) + à long terme réseau de mémoire (LSTM) Questions et réponses visualisation modèle général « écouter » la moitié du problème plus tard, convergera sur les réponses prévues. En d'autres termes, le modèle est entraîné par la corrélation des données de formation est en grande partie superficielle et manque la combinaison (une combinaison de répondre à des questions sur le concept de la capacité visible l'invisible).

Des exemples de papier Agrawal et al donnés

Un atelier de modèle amélioré de traitement du langage naturel le plus avancé

Ainsi, alors que la performance dans la balance de la bonne collecte des données de base, la technologie de traitement du langage naturel moderne face à la nouvelle entrée en langage naturel, Dans la compréhension du langage et de raisonnement encore loin du niveau de l'homme . Ces réflexions ont incité Yonatan Bisk, Omer Levy, Mark Yatskar a organisé un atelier NAACL, profond D'apprentissage et de traitement du langage naturel nouvel atelier de méthode de généralisation (Https://newgeneralization.github.io/) pour discuter du problème de la généralisation, qui est au cur des défis auxquels est confronté le domaine de l'apprentissage de la machine. L'atelier a commencé deux questions pour la discussion:

Comment pouvons-nous évaluer pleinement les performances de nos systèmes en cours d'exécution sur le nouveau, le passé pas atteint l'entrée? En d'autres termes, comment peut-on évaluer adéquatement la capacité de généralisation de notre système?

Comment devons-nous modifier nos modèles pour les rendre une meilleure capacité de généralisation?

Ces deux questions sont très difficiles, un atelier d'une journée est clairement ne suffit pas de les résoudre. Cependant, le traitement du langage naturel les plus brillants chercheurs dans cet atelier pour un certain nombre de méthodes et d'idées sont décrites, ils sont dignes de votre attention. En particulier, lorsque nous résumons ces discussions, ils sont autour de trois thèmes: l'utilisation de plus biais inductive (Mais difficile), est déterminé à donner le modèle de traitement du langage naturel Le bon sens affaire Jamais vu la répartition des tâches et .

Direction 1: Utilisation de polarisation plus inductive (mais difficile)

À l'heure actuelle, les gens discutent si pour diminuer ou augmenter la polarisation inductive (c.-à-hypothèses pour l'apprentissage de l'entrée à la sortie de la fonction de mappage).

Par exemple, l'an dernier, Yann LeCun et Christopher Manning ont eu un débat intéressant (voir Lei Feng réseau AI AI domaine de l'examen scientifique et de la technologie Superman Batman Wars: Comment LeCun et regarder Manning à la conception structurelle des réseaux de neurones), nous avons discuté de l'étude approfondie de la façon dont le cadre doit être introduit une connaissance préalable inhérente. Manning croit que le raisonnement d'ordre supérieur, et les tâches avec moins de données pour l'apprentissage, le biais structuré est nécessaire. Au lieu de cela, LeCun Cette structure est décrite comme un « mal nécessaire », ce qui nous a forcés à faire quelques hypothèses peuvent limiter le réseau de neurones.

vue LeCun (réduire le biais inductif) une raison convaincante pour laquelle l'argument est le fait que l'utilisation finale et ne peut pas obtenir les meilleures performances dans un certain nombre de repères comparatifs basés sur le biais du modèle de la linguistique moderne (ou même une pièce en disant , « Chaque fois que j'ai été expulsé d'une équipe de linguiste, mon taux de précision soulèvera une partie du modèle de langage » ). Néanmoins, la communauté de la PNL ou du point de vue d'un large soutien Manning. L'introduction de la structure linguistique dans l'architecture de réseau de neurones échange ACL est une tendance significative en 2017. Cependant, en raison de la mise en place de la structure telle ne semble pas atteindre les résultats escomptés dans la pratique, nous pourrions être en mesure de tirer les conclusions suivantes: explorer de nouvelles façons d'introduire un biais inductive devrait être une bonne façon de travailler, ou utiliser les mots de Manning:

Nous devrions utiliser le biais plus inductif. Nous généralisons ne rien savoir sur la façon d'ajouter un biais, nous allons améliorer les données en créant des données de formation de pseudo pour coder ces biais. Cela semble être une prise de conscience étrange.

En fait, Yejin Choi a été sur cette question a présenté leurs propres solutions en cause de génération de langage naturel (NLG). Elle donne un langage commun grâce à un modèle qui maximise la probabilité du mot suivant (gated réseau de neurones récurrents (RNN fermée) avec une recherche de faisceau (recherche faisceau) est, https: //guillaumegenthial.github.io/sequence -à-sequence.html) exemple du commentaire généré.

entrée en langage naturel est:

Tout ce que je recommande vivement à tous, cet hôtel à ceux qui veulent vivre dans la région centrale.

Unnatural, la charge de la contradiction, la sortie est fastidieuse:

Dans l'ensemble, je recommanderais cet hôtel à ceux qui veulent vivre dans la région centrale, et que vous voulez vivre dans la région centrale. Si vous voulez vivre dans la région centrale, ce n'est pas l'endroit pour vous. Toutefois, si vous voulez vivre dans le centre de la région, c'est l'endroit où vous devez aller.

Selon elle, la langue de la génération actuelle de modèle de langage est si peu naturelle, parce qu'ils sont:

apprenant passif . Bien qu'ils liront l'entrée et générer une sortie, mais ils ne travaillent pas comme les apprenants humains, ils ne sont pas propres à réfléchir sur les résultats générés conformément à ce sens, le style et contient une répétition de ces normes linguistiques appropriées. En d'autres termes, Ils ne le font pas écrit « pratique » .

apprenant superficiel . Ils ne tiennent pas compte du fait que les relations d'ordre supérieur entre les entités, les événements ou les activités, et ces éléments pour l'homme est susceptible d'être la clé pour comprendre les indices linguistiques. En d'autres termes, Ces modèles ne comprennent pas notre monde humain .

Si nous voulons encourager modèle de langage en utilisant la perte basée sur les données de la fonction d'une manière particulière d'apprentissage, comme il Signification, le style et contient répétition Et d'autres caractéristiques linguistiques, le modèle de langage peut d'écriture « pratique ». Cette approche repose sur explicite que d'utiliser une compréhension du langage naturel (NLU) Méthode de sortie de l'outil. En effet, NLU uniquement sur le traitement du langage naturel traditionnel et ne peut donc pas comprendre la langue de la machine ne peut pas être naturel. Comme dans l'exemple ci-dessus est répété, contradictoire, le texte ennuyeux. Étant donné que la machine NLU ne comprend pas la langue, de sorte que les outils NLU appliqués au texte généré pour guider le modèle de génération de langage naturel (NLG) modèle généré pour comprendre pourquoi il est si peu naturelle et donc prendre les mesures appropriées n'a pas de sens. Dans l'ensemble, nous ne devrions pas développer un biais structuré introduit une nouvelle architecture de réseau de neurones et de ces biais d'apprentissage axée sur les données devraient être améliorées.

Langue naturelle génération (NLG) est non seulement que nous devrions chercher une meilleure méthode d'optimisation des tâches d'apprentissage PNL. Dans la traduction automatique, un grave problème dans notre méthode d'optimisation est que nous devons former le modèle de traduction automatique par la perte de fonction telle que UEBL croisées d'entropie ou des attentes au niveau de l'instruction, ce modèle est avéré être biaisé, et de la compréhension humaine et suffisamment pertinent. En fait, si nous utilisons ces indicateurs simples pour former notre modèle, ils pourraient ne pas correspondre à la compréhension humaine du texte. Étant donné que la cible est trop complexe, l'utilisation de l'apprentissage de renforcement pour la PNL semble être une option parfaite car elle permet au modèle d'apprendre par essai et signal d'erreur une compréhension similaire de l'être humain dans l'environnement de simulation (à savoir, l'apprentissage de renforcement « récompense »).

Wang et ses collègues ( comme « plug-parler » (décrivant le contenu d'une vidéo ou une image) a proposé une méthode de formation. Tout d'abord, ils ont étudié l'que nous utilisons actuellement utilisé directement dans l'apprentissage par renforcement lors du test de méthodes de formation « METEOR » sur les indicateurs non-différentiables « BLEU », légende de l'image « Cider » et d'autres systèmes de formation. Wang et ses co-auteurs soulignent que si nous utilisons les points de récompense METEOR comme la prise de décision renforcement, METEOR obtiennent des résultats nettement améliorée, mais d'autres scores seront considérablement réduits. Ils ont cité l'exemple d'une note moyenne de 40,2 METEOR:

Nous avons eu un grand temps d'avoir beaucoup de. Ils devaient être de la. Ils devaient être en. Le et devait être. Le, et il devait être. (Le texte ne pas naturellement le manque de composantes linguistiques nécessaires, incohérente)

En revanche, lors de l'utilisation d'autres indicateurs (UEBL ou Cider) pour évaluer l'histoire produite, le contraire qui se produisit: beaucoup de sens pointage, histoire cohérente faible (presque nulle). Il semblerait que la machine ne semble pas fonctionner correctement à partir de ces indicateurs.

Par conséquent, les auteurs proposent une nouvelle approche de formation visant à obtenir la compréhension humaine prix similaire du résultat prédit des histoires humaines et de l'échantillon annotée obtenus. Néanmoins, la profondeur de l'apprentissage de renforcement est encore "Fragile" Et une plus grande complexité que l'étude de la profondeur d'échantillonnage supervisé. Une vraie solution pourrait être de permettre aux humains de participer au « cycle homme-machine » apprentissage algorithme d'apprentissage automatique de processus (apprentissage actif).

Orientation 2: introduction de la connaissance humaine

Bien que le « bon sens » peut être en mesure d'être comprise par l'homme, mais il est difficile d'enseigner la machine. Pourquoi, alors, comme une conversation, répondre à un message ou un résumé du dossier une telle tâche est très difficile à faire?

Ces tâches font défaut entre l'entrée et la sortie de « one to one mapping » l'abstrait sur la nécessité pour le monde humain, la cognition, le raisonnement et la connaissance la plus étendue. En d'autres termes, tant que la correspondance de motif (modèle maintenant prendre le traitement du langage le plus naturel) ne peut pas en raison d'une semblable à la compréhension humaine « Le bon sens » Et obtenir une promotion, nous ne pouvons pas résoudre ces problèmes.

Choi par un exemple simple mais efficace illustre ce point: qui dit « cheeseburger dangereux pour les personnes » sur un titre de nouvelles (coups de couteau cheeseburger)

[Source: https: //newgeneralization.github.io Propriétaire: Yejin Choi]

Sachez seulement dans une relation attributive « coup de poignard » dépend de la modification terme « cheeseburger », ne suffit pas pour comprendre le « coup de poignard cheeseburger » ce qu'il voulait vraiment dire. Choi de la figure de la parole.

Pour ce titre, une machine peut être soulevée à partir des questions suivantes:

Un cheeseburger parce que quelqu'un blessé quelqu'un d'autre?

Quelqu'un a poignardé un cheeseburger?

Un cheeseburger blesser les gens?

Un autre poignardé un cheeseburger cheeseburger?

Si la machine a un sens social et physique, alors, ils peuvent exclure ces questions ridicules que vous ne demanderez. Le sens commun ( ) Peut rappeler la machine, la première option semble raisonnable, parce que les gens sont mauvais mal, et donc dignes d'intérêt. Et blessé un cheeseburger n'est pas digne d'intérêt. sens physique ( ) Ensuite, la troisième et la quatrième option est impossible, parce que le cheeseburger ne peut pas être utilisé pour quoi que ce soit mal.

En plus de l'introduction de connaissances de bon sens, Choi a également fait l'éloge « réalisé par l'annotation sémantique comprendre » L'accent devrait être de « dire quelque chose » à « être compris par simulation. » Ceci simule l'effet causal du texte suggère, en se concentrant non seulement sur « ce que le texte dit, » également mis l'accent sur « ce que le texte ne dit pas, mais a laissé entendre quelque chose. » Bosselut et ses collègues (https://arxiv.org/abs/1711.05313) montre un exemple pour illustrer pourquoi les prévisions pour l'entité texte prenne effet causal implicite d'action est très importante:

Si l'on donne « dans le mélange à muffins myrtille, puis cuire au four pendant une demi-heure, » une telle déclaration, un corps intelligent doit être en mesure de prédire certains faits contiennent, par exemple: les bleuets sont maintenant dans le four, leur « température » va augmenter élevé.

Mihaylov et Frank ( reconnaissent également que nous devons comprendre la simulation. Contrairement à d'autres modèle de compréhension de lecture plus complexe, leur type de modèle closure de compréhension de lecture peut gérer « La plupart des informations utilisées pour déduire les réponses dans une histoire est donnée » la situation, mais ils ont besoin aussi un certain sens commun supplémentaire prédire la réponse: Ma (cheval) est un animal, des animaux (animal) est utilisé pour rouler et rouler (monter) et liées aux animaux.

Style de lecture de closure de compréhension cas un besoin de bon sens. L'exemple est de papiers Mihaylov et Frank.

Malheureusement, nous devons admettre, PNL moderne « bouche seulement doux euphémisme » pour exécuter la même manière Pour changer cette situation, nous devons leur fournir des connaissances de bon sens, ils enseignent quelque chose inférées est pas dit directement, mais a laissé entendre dehors.

« Réseau de neurones récurrents (RNN) est la bouche sans esprit il? » Diapositives prises de parole Choi.

Orientation 3: Evaluate jamais vu avant et répartition des tâches

En utilisant des méthodes standard pour résoudre le problème de l'apprentissage supervisé comprend les étapes suivantes:

• Déterminer comment étiqueter les données

• Le marquage manuelle des données

• Les données annotée est divisé en un ensemble de formation, les tests et les ensembles de validation. En règle générale, si possible, nous vous recommandons de veiller à ce que l'ensemble de la formation, le développement du jeu de données (ensemble de validation) et le jeu de test a la même distribution de probabilité.

• Déterminer comment caractériser l'entrée

• L'apprentissage d'une fonction de mappage à partir de l'entrée à la sortie

• Utilisez un bon moyen d'évaluer la méthode d'apprentissage proposée dans l'ensemble de test

Selon cette méthode de résoudre le casse-tête suivant, les besoins de données à marquer de sorte qu'une unité de train de modèle de reconnaissance, mais aussi envisager une variété de caractérisation et d'interprétation (images, texte, mise en page, orthographe, prononciation), et les mettre considérés ensemble. Le modèle détermine l'interprète global « meilleur », et conforme à l'interprétation du puzzle humain.

Des exemples de l'entrée d'une étiquette dure. Photo par Dan Roth.

Dan Roth apparaît:

• Cette norme n'a pas l'évolutivité . Nous aurons jamais assez de données de marquage pour toutes les tâches dont nous avons besoin tout le modèle de formation. Pour comprendre le puzzle ci-dessus, nous avons besoin de données de formation annotée pour résoudre au moins cinq différentes tâches, ou de grandes quantités de données pour former un terme à modèle final. En dépit de la disponibilité de ces ressources disponibles IMAGEnet pour compléter la formation de cette « identification de l'unité », mais IMAGEnet ne suffit pas de se rendre compte que le mot « monde (monde) » dans ce contexte que « la Terre (globe) » est mieux. Même si quelqu'un a fait de grands efforts pour marquer ces données doivent encore être constamment mis à jour, que vous devrez considérer une nouvelle culture pop tous les jours.

Roth a attiré notre attention sur le fait que Une grande quantité de données existe indépendamment des tâches spécifiques Et il y a assez laisser entendre Informations comme une série de tâches à déduire le signal de surveillance. C'est le " Accompagné de supervision (supervision accessoire) « L'origine de cette idée. Dans ses propres mots (

« En compagnie » fait référence à une série de signaux Si le signal est présent dans les données et dans l'environnement, ils sont indépendants de la tâche à résoudre. Ces signaux sont des objectifs et des tâches liées entre elles, peuvent être exploitées par un support d'algorithme approprié, pour fournir le signal de contrôle approprié, il est propice à l'apprentissage de la machine. Par exemple, on pourrait penser à des entités nommées (NE) de tâche de translittération, en fonction de la similitude de prononciation entre les différentes entités, réécrira les entités nommées de la langue source au processus de la langue cible (par exemple, pour déterminer comment écrire le nom d'Obama en hébreu ). Nous avons un signal de synchronisation tout prêt, qui est indépendant de la tâche à résoudre exist translittération. Ce signal de synchronisation est associé aux tâches que nous face à face, elle et d'autres signaux, et des résultats d'inférence peut être utilisée pour fournir des informations pour la mission de surveillance, sans travail fastidieux marqué.

Percy Liang estime que si la distribution des données de formation et des données de test sont similaires, « toute personne ayant une capacité de représentation du modèle, tant que suffisamment de données pour effectuer cette tâche. » Cependant, pour les tâches d'extrapolation (lors de la formation et les tests les données de distribution ne sont pas les mêmes), nous devons concevoir un modèle plus réel « droit ».

Pour les mêmes tâches extrapolation dans la formation et les pratiques de test sont appelées zones d'adaptation . Ces dernières années, le sujet a suscité beaucoup d'attention.

Mais « accompagnée d'une supervision », ou lorsque la tâche de la formation et de tester différentes extrapolation des tâches est pas une pratique courante. Li et ses collègues ( la formation d'un modèle de migration texte attributive, il est seulement pour les balises d'attributs de phrase donnée, sans avoir besoin d'un corpus parallèle ayant le même contenu, mais différentes phrases d'attributs d'association. En d'autres termes, ils ont formé un modèle pour prédire attribuer une phrase donnée, il ne doit être utilisé comme un classificateur est formé. De même, le modèle de formation Selsam et ses collègues (https://arxiv.org/abs/1802.03685) d'apprendre à résoudre un problème SAT (satisfiability), il ne doit être utilisé comme facteur prédictif satisfiabilité Le classificateur est formé. Il est intéressant de noter que les deux modèles ont une forte biais inductive . Supposons que l'ancien utilisé est souvent plus importante dans les phrases de discrimination d'attributs locaux. Ces derniers ont capturé l'algorithme de propagation d'enquête (propagation Survey) de polarisation inductive.

Percy a contesté la communauté de la recherche, et il a appelé et a dit:

chaque document Et leur évaluation de l'ensemble de données utilisé, devrait être dans la Une nouvelle distribution ou une nouvelle tâche Évaluer, parce que notre objectif est de Résoudre la tâche, plutôt que de résoudre l'ensemble de données .

Lorsque nous utilisons des techniques d'apprentissage machine, nous devons apprendre à penser comme une machine , Au moins lors de l'évaluation de l'affaire. En effet, l'apprentissage de la machine est comme une tornade, il a tout absorbé dans, et ne se soucient pas de bon sens, le raisonnement logique, les phénomènes de langage ou de l'intuition physique.

Les diapositives de rapport Liang

Les chercheurs ont participé à l'atelier se demandait si nous voulons construire un ensemble de données pour les tests de résistance, afin d'observer la réelle capacité de généralisation de notre modèle, le test au-delà de la capacité de fonctionnement normal, a atteint un point critique (conditions sont très dur).

Nous avons des raisons de croire que seulement un problème relativement simple à résoudre après un modèle possible pour résoudre les cas les plus difficiles. Afin de savoir si le problème relativement simple a été résolu, Liang a suggéré que l'on peut les classer en fonction de la difficulté de l'affaire. Devi Parikh a souligné pour résoudre des problèmes simples peuvent être déterminées des questions plus difficiles ont pas une telle idée pourrait résoudre seulement une petite partie de la tâche et l'ensemble de données pour répondre. Ces tâches ne sont pas inclus dans cette petite partie, par exemple le système de visualisation Q n'est pas cadre approprié. On ne sait pas quel modèle est capable de gérer « image - problèmes » droit, donc il peut être plus difficile à traiter avec d'autres « image = problèmes » droit. Par conséquent, Si l'exemple de notre modèle ne peut pas répondre à la définition de cas est « plus difficile », la situation peut devenir mauvaise.

Les chercheurs ont pris part à l'atelier de l'anxiété, les tests de stress peut ralentir les progrès dans ce domaine. Quel genre de pression nous permet d'avoir une meilleure compréhension de la véritable généralisation? Il peut encourager les chercheurs à construire une généralisation plus forte capacité du système? Mais les coupures et les chercheurs ne se traduiront pas des fonds en raison de la production et de moins sentir la pression? atelier sur cette question il n'y a pas de réponse.

conclusion

« L'apprentissage en profondeur NAACL et atelier de traitement du langage naturel nouvelle méthode de généralisation » est que les gens ont commencé à repenser sérieusement la possibilité de la compréhension du langage et des capacités de raisonnement de la technologie de traitement du langage naturel moderne. Ces discussions importantes continuent à la conférence ACL, Denis Newman-Griffis a rapporté, les participants ACL à plusieurs reprises que nous devons repenser la généralisation plus large et de tester des scénarios qui ne reflètent pas la distribution des données de formation. Sebastian Ruder dit ce sujets de l'atelier sur le NAACL RepLNLP (le plus populaire sur l'étude du traitement du langage naturel de caractérisation de l'atelier ACL) est également mentionné.

Les faits ci-dessus montrent que nous ne savons pas tout à fait comment modifier nos modèles pour améliorer leur capacité de généralisation. Cependant, il y a encore beaucoup de place pour proposer des solutions nouvelles et meilleures.

nous devrions Utilisez polarisation plus inductive Mais le besoin de trouver le moyen le plus approprié de les intégrer dans l'architecture de réseau de neurones, de sorte qu'ils seront en mesure de nous apporter attendons à être promu à l'architecture du réseau.

Nous devons passer une partie de la sens commun similaire de la compréhension humaine Concept pour améliorer le modèle de correspondance de motif le plus avancé, de sorte qu'ils puissent saisir le fait que les relations d'ordre supérieur entre entités, événements et activités. Mais creuser le bon sens est généralement difficile, donc nous avons besoin de nouveaux moyens créatifs à la connaissance de l'extrait.

Enfin, nous devrions traiter Jamais vu la répartition des tâches et . Dans le cas contraire, « tout modèle de représentation a suffisamment de données suffisantes pour être en mesure de remplir cette tâche. » De toute évidence, une telle formation modèle plus difficile et nous n'obtenir de bons résultats immédiatement. En tant que chercheur, nous avons besoin de courage pour développer un tel modèle, et comme critiques, nous ne devrions pas critiquer essayer de faire ce genre de travail.

Bien que ces sujets sont abordés dans le domaine de la PNL, mais elle reflète aussi une tendance plus large dans le champ de la recherche AI: Réflexions sur l'apprentissage des défauts et avantages de la profondeur de l'apprentissage. Yuille et Liu a écrit une lettre d'opinion « vision par ordinateur de réseau de neurones profond à la fin de ce qui a été fait », Gary Marcus est prêché à toute la question du domaine de l'IA, nous avons besoin de beaucoup de méthodes autres que l'examen de l'apprentissage en profondeur. Ceci est un signe très sain, les chercheurs d'Amnesty International sont de plus en plus clairement où les limites de l'étude approfondie, et de travailler pour améliorer ces limites.

via gradient.pub, Lei Feng réseau compilé AI Technology Review