New Ji-won aujourd'hui
Ji-won nouvelle compilation
Source: Open AI
Compile: Pen, Craig
[New Ji-won EXAMEN Sur la base d'un système évolutif, tâche indépendante, OpenAI contient des tâches linguistiques différentes pour obtenir des résultats optimaux dans un groupe, la méthode est une combinaison de deux concepts existants: La formation pré-migration et apprentissage non supervisé . Ces résultats démontrent qu'il existe des méthodes d'apprentissage supervisé peuvent être combinés avec la pré-formation parfaite sans supervision. L'idée de beaucoup de gens dans le passé exploré, OpenAI l'espoir de stimuler plus de résultats de recherche, et ensuite appliquer cette idée à une plus grande, plus diversifiée sur l'ensemble de données.
Notre système est divisé en deux étapes: Tout d'abord, nous avons formé une migration par manière non supervisée sur un grand modèle d'apprentissage des ensembles de données, le processus de formation en utilisant un des résultats de formation de modèle de langage comme un signal, notre jeu de données supervisé plus petit sur ce modèle est peaufiné pour l'aider à résoudre une tâche spécifique. Ceci est une méthode développée dans notre ancienne neurone sentiment Effectué (neurones émotionnels) après avoir travaillé dans le sentiment tâche des neurones, nous notons que, pour former le modèle grâce à l'utilisation de données suffisantes, l'apprentissage non supervisé peut être assez discriminant caractéristiques surprenantes. Ici, nous voudrions explorer davantage cette idée: Pouvons-nous développer un modèle à un modèle de mode non supervisé est formé pour utiliser beaucoup de données, puis affiner le modèle, afin d'obtenir de bonnes performances dans diverses tâches? Nos résultats indiquent que l'effet de cette approche est étonnamment bonne. Le même modèle de base peut être peaufiné pour des tâches différentes en fonction de la tâche.
Cette étude est une méthode introduite dans la séquence d'approche fondée sur l'apprentissage semi-supervisé montre comment LSTM de pré-formation non supervisée Et puis supervisé peaufinage pour améliorer la capacité de classification de textes. Elle étend également la recherche ULMFiT, le montre l'étude comment affiner un modèle de données unique agnostique langage LSTM pour obtenir des performances optimales dans une variété de jeu de données de classification texte. Nos spectacles de travail comment migrer modèle d'apprentissage de cette façon, de sorte qu'un plus large éventail de tâches en plus de la classification de texte réussir, telles que le raisonnement de bon sens, la similarité sémantique et la compréhension en lecture et ainsi de suite. Il Elmo similaire, mais appartiennent à des questions de travail indépendant, qui comprend un pré-formation, vous souhaitez utiliser pour la tâche particulière de l'architecture de modèle pour obtenir des résultats optimaux.
Nous accordage paramètre de quelques-uns pour atteindre notre objectif. Tous les jeux de données en utilisant une seule langue à l'ancien modèle, il n'y a pas de combinaison, et la plupart des résultats sont exactement les mêmes réglages ultra-paramètres.
Notre approche COPA, RACE, et trois ensembles de données ROCStories Performance sur ont particulièrement bien performé, ces ensembles de données sont utilisés pour tester le raisonnement de bon sens et à la lecture. Notre modèle sur ces ensembles de données pour obtenir des résultats optimaux. Ces ensembles de données d'identification sont considérées comme plus besoin des phrases raisonnement et la connaissance critique du monde, ce qui indique que notre modèle pour améliorer ces capacités, notamment par l'apprentissage non supervisé. Au-dessus indiquent que la technologie sans supervision promettant de développer la compréhension du langage complexe.
