Source: New Ji-won
article Ressources multiples , Collection recommandée.
Cet article a compilé une liste des derniers articles et des listes de ressources de la PNL, à suivre avec la recherche de pointe, collection essentielle.
PNL se développe rapidement, entrant dans la fosse communications ont été présentées pour suivre les dernières tendances de la PNL moderne et rapide? équipe HuggingFace a récemment publié une liste des articles et des ressources à cette liste, suivi de la recherche de pointe, collection essentielle.
Au cours des deux dernières années, les progrès de la PNL sur une variété de tâches et d'applications différentes très rapidement. Ces progrès sont dus à la construction du paradigme classique a changé les systèmes de PNL à apporter: Pendant longtemps, les chercheurs ont été formés pour utiliser le mot pré-intégré (comme word2vec ou Glove) pour initialiser le réseau de neurones, puis utiliser une tâche spécifique l'architecture qui utilise un ensemble de données unique pour superviser la méthode de formation.
Récemment, certaines études ont montré que nous pouvons utiliser le signal non supervisé (ou d'auto-surveillance), tels que la modélisation du langage, la représentation de contexte d'apprentissage hiérarchique sur des ensembles de données à l'échelle du Web, et transféré aux tâches en aval, avant la formation (apprentissage de transfert) . Excitant est que ce changement a apporté des progrès significatifs dans le domaine des applications en aval, des questions en langage naturel pour répondre à un raisonnement par l'analyse syntaxique ......
« Que puis-je lire le journal pour suivre les dernières tendances de la PNL moderne? »
Il y a quelques semaines, un de mes amis a décidé d'entrer dans la PNL fosse. Il a un apprentissage machine arrière-plan et l'apprentissage en profondeur, alors il m'a demandé sincèrement: « Que puis-je lire le journal pour suivre les dernières tendances de la PNL moderne »
Ceci est une très bonne question, en particulier lors de la prise en compte de la conférence de la PNL (ainsi que l'assemblée générale ML) a reçu la soumission des documents est en croissance exponentielle: NAACL 2019 a reçu plus de 2018 contributions ont augmenté de 80%, l'affichage ACL 2019 reçu soit une augmentation de 90% par rapport à 2018 ......
Donc, je compilé une liste des documents pour lui, et cette liste de ressources et de partager avec vous.
Avertissement: Cette liste est non exhaustive, ne peut couvrir tous les sujets en PNL (par exemple, ne couvre pas l'analyseur sémantique, l'apprentissage conflictuel, l'apprentissage de renforcement de la PNL, etc.). Les documents sélectionnés principalement au cours des dernières années / mois de travail le plus influent.
En général, le début d'un nouveau champ de bonne méthode consiste à lire l'introduction ou un résumé du blog (par exemple), vous permet de prendre le temps de lire un aperçu rapide des documents d'information avant.
Les références suivantes couvre l'idée de base de l'étude de la migration PNL:
représentations de mots profonds contextualisées (NAACL 2018)
Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, Luke Zettlemoyer
Langue universelle Modèle Affinage de classification de texte (ACL 2018)
Jeremy Howard, Sebastian Ruder
Amélioration de la compréhension par langue générative pré-formation
Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever
Les modèles de langue Incontrôlables Multitâche apprenants
Alec Radford, Jeffrey Wu, Rewon Enfant, David Luan, Dario Amodei, Ilya Sutskever
BERT: pré-formation des transformateurs pour la compréhension profonde Bidirectionnel Langue (NAACL 2019)
Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
Préformation conduit closure-des réseaux d'auto-attention (arXiv 2019)
Alexei Baevski, Sergey Edunov, Yinhan Liu, Luc Zettlemoyer, Michael Auli
Modèle Langue unifiée pré-formation pour la compréhension et la génération du langage naturel (arXiv 2019)
Li Dong, Nan Yang, Wang Wenhui, Furu Wei, Liu Xiaodong, Yu Wang, Gao Jianfeng, Ming Zhou, Hsiao-Wuen Hon
MASS: Masked Séquence de séquence pré-formation pour la génération de langage (ICML 2019)
Kaitao Song, Xu Tan, Tao Qin, Lu Jianfeng, Tie-Yan Liu
Ce que vous pouvez fourrer dans un seul vecteur: phrase incorporations pour les propriétés PALPEU R linguistiques (ACL 2018)
Alexis Conneau, allemand Kruszewski, Guillaume Lample, Loïc Barrault, Marco Baroni
Aucune formation requise: Explorer les encodeurs au hasard pour la classification de la peine (ICLR 2019)
John Wieting, Douwe Kiela
COLLE: Une référence multi-tâches et la plate-forme pour l'analyse du langage naturel Comprendre (ICLR 2019)
Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, Samuel R. Bowman
Superglue: Un Indice de référence général Plus collant à usages linguistiques Comprendre les systèmes (arXiv 2019)
Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, Samuel R. Bowman
Connaissances linguistiques et cessibilité des représentations contextuelles (NAACL 2019)
Nelson F. Liu, Matt Gardner, Yonatan Belinkov, Matthew E. Peters, Noah A. Smith
Pour écouter ou ne pas écouter? Adaptation à des tâches Représentations pré-entraîné diverses (arXiv 2019)
Matthew Peters, Sebastian Ruder, Noah A. Smith
Un Neural modèle conversationnel (ICML Atelier profond d'apprentissage 2015)
Oriol Vinyals, Le Quôc
Une conversation Neural Persona Model-Based (ACL 2016)
Li Jiwei, Michel Galley, Chris Brockett, Georgios P. Spithourakis, Gao Jianfeng, Bill Dolan
Un simple, rapide Divers Décodage algorithme de génération Neural (arXiv 2017)
Li Jiwei, Will Monroe, Dan Jurafsky
Neural Approaches to AI Conversational (arXiv 2018)
Gao Jianfeng, Michel Galley, Lihong Li
TransferTransfo: Un transfert d'apprentissage approche pour Neural Network à base d'agents conversationnels (NeurIPS 2018 Atelier CAI)
Thomas Wolf, Victor Sanh, Julien Chaumond, Clément Delangue
Assistant de Wikipédia: agents conversationnels savoir propulsée (IPSC) 2019
Emily Dinan, Stephen Rouleau, Kurt Shuster, Angela Fan, Michael Auli, Jason Weston
Apprendre à parler et agir dans un jeu d'aventure texte Fantaisie (arXiv 2019)
Jack Urbanek, Angela Fan, Siddharth Karamcheti, Saachi Jain, Samuel Humeau, Emily Dinan, Tim Rocktäschel, Douwe Kiela, Arthur Szlam, Jason Weston
Pointer Networks (NIPS 2015)
Oriol Vinyals, Meire Fortunato, Navdeep Jaitly
End-to-End Réseaux mémoire (NIPS 2015)
Sainbayar Sukhbaatar, Arthur Szlam, Jason Weston, Rob Fergus
Arriver au point: Summarization avec les réseaux Pointer-générateur (ACL 2017)
Abigail Voir, Peter J. Liu, Christopher D. Manning
Apprentissage Supervisé des représentations de phrases universelles de langage naturel Inference données (EMNLP 2017)
Alexis Conneau, Douwe Kiela, Holger Schwenk, Loic Barrault, Antoine Bordes
Neural Coréférence Résolution de bout en bout (EMNLP 2017)
Kenton Lee, Luheng Il, Mike Lewis, Luke Zettlemoyer
StarSpace: Intégrer toutes les choses (AAAI 2018)!
Ledell Wu, Adam Fisch, Sumit Chopra, Keith Adams, Antoine Bordes, Jason Weston
Le langage naturel Décathlon: Multitâche d'apprentissage en question Answering (arXiv 2018)
Bryan McCann, Nitish Shirish Keskar, Caiming Xiong, Richard Socher
Caractère niveau du langage de modélisation avec auto-attention Deeper (arXiv 2018)
Rami Al-Rfou, Dokook Choe, Noah Constant, Mandy Guo, Llion Jones
Auto-attention pour l'étiquetage de rôle sémantique linguistiquement-Informed (EMNLP 2018)
Emma Strubell, Patrick Verga, Daniel Andor, David Weiss, Andrew McCallum
Phrase-Based & Neural Unsupervised Machine Translation (EMNLP 2018)
Guillaume Lample, Myle Ott, Alexis Conneau, Ludovic Denoyer, Marc'Aurelio Ranzato
L'apprentissage But général distribué Représentations Sentence via grande échelle multi-tâches d'apprentissage (ICLR 2018)
Sandeep Subramanian, Adam Trischler, Yoshua Bengio, Christopher J Pal
Transformateur-XL: Attentif Langue modèles Au-delà d'un contexte de longueur fixe (arXiv 2019)
Zihang Dai, Zhilin Yang, Yang Yiming, Jaime Carbonell, V. Le Quôc, Ruslan Salakhutdinov
Transformateurs universels (IPSC) 2019
Mostafa Dehghani, Stephan Gouws, Oriol Vinyals, Jakob Uszkoreit, ukasz Kaiser
Une approche simple Embarrassant pour l'apprentissage de transfert de modèles linguistiques pré-entraîné (NAACL 2019)
Alexandra Chronopoulou, Christos Baziotis, Alexandros Potamianos
D'autres papiers ans à distance, dans le choix de lecture de contenu, peuvent généralement être cités comme indicateur du nombre de choix.
Mon expérience est que vous devriez lire que vous trouvez intéressant, et vous rend heureux article!
Il y a beaucoup de ressources que vous pouvez l'utiliser comme ça, pas nécessairement les papiers. Voici quelques-unes:
- Livres:
Parole et langage traitement (3e éd. Projet)
Dan Jurafsky et James H. Martin
Neural Network Méthodes de traitement du langage naturel
Yoav Goldberg
- Support:
Langage naturel Sémantique Comprendre et Computational avec Katharina Kann et Sam Bowman à NYU
CS224n: Traitement du langage naturel avec apprentissage en profondeur avec Chris Manning et Abigail Voir à Standford
Mots contextuels Représentations: Une introduction contextuelle de Noah A. matériel pédagogique de Smith à l'UW
- Blog / podcast:
Le blog de Sebastian Ruder
Blog illustré Jay Alammar
PNL Faits saillants hébergé par Matt Gardner et Waleed Ammar
https://podcasts.apple.com/us/podcast/nlp-highlights/id1235937471
- autres:
Documents avec le code
https://paperswithcode.com/
gazouillement
arXiv bulletin quotidien
papiers enquête
...
Ce sont nos ressources recommandées! Lisez la part de ces ressources, nous avons pu vous laisser sur les dernières tendances en PNL contemporaine ont une bonne compréhension, et peut vous aider à construire votre propre système de PNL!
La dernière suggestion que je trouve très important (et parfois négligés) est une bonne lecture, la pratique mieux! Grâce en profondeur la lecture (parfois) est livré avec son propre code ou essayer de mettre en uvre certains de ces codes, vous pouvez en savoir plus.
Lien original:
https://medium.com/huggingface/the-best-and-most-current-of-modern-natural-language-processing-5055f409a1d1 Editeur: Huang Jiyan Relecture: la force Gongattention Tsinghua - données Académie des sciences de Qingdao plate-forme publique micro-canal officiel " données d'envoi THU « Sisters et n ° » Les données envoyées THU « Pour plus de conférences et de bien-être contenu de qualité.
