Source @unsplash
Wen | cerveau globule polaire
Tous les aspects de la technologie de traitement du langage naturel (NLP) est en train de changer la vie de nos vies.
haut-parleurs de salon Smart progrès rapides sur un dialogue quotidien avec vous, même pas commencer à vous dire « gag » en fonction de vos habitudes de passe-temps.
Service à la clientèle d'affaires électrique répond toujours la première fois, ont pu être traitées à votre question, vous ne trouvez pas aussi TA peut juste être un service à la clientèle intelligente. version réalité de « test de Turing » sur une base quotidienne.
Toujours vérifier les informations étrangères que vous pourriez avoir été habitué à une page web ou moteur de recherche un peu de traduction, la grande qualité de traduction assez de bon pour vous faire sentir comme l'apprentissage d'une langue étrangère est une perte de temps.
Gratuit, ennuyé lorsque vous brossez un flux vidéo court, toujours accro trouvé plus tard de plus en plus de temps, en fait, derrière elle est une des recommandations de la plate-forme d'algorithmes en langage naturel basé sur l'optimisation de vos habitudes de navigation, attention longtemps effectuées.
Si l'enlèvement, nous voulons revoir brièvement la transition des mises à jour ces dernières années, la PNL a été la traçabilité sur cette technologie torrent. Arrière eau abondante, source d'eau partout technique pour comprendre le contexte de l'évolution de la PNL.
PNL deux hégémonie: OpenAI et attaque GPT-2 « têtu »
attention PNL doit savoir, 2018 a été une année de pare-chocs champ PNL développement.
Juin 2018, OpenAI a publié un rapport intitulé « Améliorer la compréhension de langue par générative pré-formation » thèse développée sur la base du « modèle linguistique pré-formation » TPG, il la première utilisation du réseau au lieu de Transformer LSTM comme modèle de langage, et à 12 tâche PNL 9 tâche d'obtenir la performance SOTA. TPG, mais pour diverses raisons n'a pas eu plus d'attention.
L'approche fondamentale est de TPG sans supervision pré-formé sur un vaste corpus d'échelle, puis un réglage fin (fine-tune) façon pour les tâches spécifiques à un ensemble de données beaucoup plus petit supervisé, le modèle indépendant conçu pour les tâches individuelles des conseils peuvent être obtenus de très bonnes performances dans les multiples tâches uniques.
Jusqu'à Octobre, le BERT de Google (Bidirectionnel Encoder Représentation de Transformers) sortent, une fois libérés ils auront une large attention. modèle BERT a gagné la performance SOTA dans les 11 tâches de la PNL, est que le personnel technique Google a déclaré: « BERT a ouvert une nouvelle ère de la PNL » déclaration. En fait, alors que le BERT et GPT utilise exactement le même modèle à deux étages, le premier il est modèle de langage pré-formé sans supervision, suivi par l'utilisation en mode Fine-Tuning pour résoudre la tâche en aval. La différence est que BERT utilise un modèle double langage ELMO similaire dans la phase de pré-formation et l'utilisation de plus grandes données à l'échelle de pré-formation.
BERT dans l'étiquetage de la séquence des tâches en aval (y compris la PNL de transformation, comme mot chinois, le marquage de la parole, la reconnaissance des entités nommées, l'étiquetage du rôle sémantique et similaires; la seconde est des tâches de classification, telles que la classification de texte, l'informatique affective, la détermination de la relation de la phrase, comme entailment, QA , réécriture sémantique, le raisonnement du langage naturel, les tâches génératives, telles que la traduction automatique, texte summarization, phrase de la poésie, plug-parler, etc.) ci-dessus, puissante et mission universelle éblouissante performance, il est devenu enhardi éclats de la PNL .
Après seulement quatre mois, GPT-2 libération OpenAI. Ce modèle PNL massif non supervisé, peut générer des paragraphes cohérents de texte, la mise en une performance de 7 SOTA pour les grands ensembles de données, et peut sans pré-formés pour compléter la compréhension de la lecture, les questions et les réponses, et beaucoup la traduction automatique dans différentes langues tâches de modélisation.
Tout d'abord, CPT-2, BERT et TPG, comme une continuation du transformateur auto-attention (de la note) que la structure sous-jacente.
les chercheurs OpenAI insistent sur les données de formation non supervisées peuvent provenir d'une telle pensée: apprentissage supervisé un modèle de langage fera que traiter des tâches spécifiques bien performé, alors que la mauvaise performance de généralisation, mais une simple augmentation de l'échantillon de formation, il est tâche difficile à réaliser une expansion efficace. Ils ont donc choisi d'utiliser le module d'attention migrate d'apprendre à construire des modèles capables d'effectuer un certain nombre de tâches de la PNL en cas zéro-shot d'un ensemble plus général de la base de données.
Contrairement à BERT que la structure du modèle CPT-2 continue GPT1.0 « modèle de langage à sens unique. » GPT-2 paraît être qu'un seul objectif: étant donné un texte devant tous les mots, pour prédire le mot suivant. Cette insistance obstinée, nous pouvons voir les OpenAI Solutions.
Il sélectionne l'expansion des paramètres du modèle Transformer 48 couches, contenant 1,5 milliard de paramètres du modèle Transformer pour trouver un jeu de données de 8 millions de pages (WebText) sous forme de données de formation non supervisées. Autrement dit, GPT-2 est une extension directe du modèle de GPT, formé sur la quantité de données dépasse 10 fois le paramètre de quantité de plus de 10 fois. Cela permet GPT-2 utilise une approche de « violence » plus direct, le nombre de paramètres du modèle seul pour améliorer la capacité et d'accroître les données de formation à plus de BERT.
GPT-2 comme un générateur de texte, il suffit de commencer à taper en quelques mots, ce programme sera basé sur leur propre jugement, je décide comment écrire suivant. En bref, le modèle GPT-2 comme un langage universel qui peut être utilisé pour créer assistant d'écriture AI, un dialogue de robot plus puissant, sans supervision et une meilleure traduction des systèmes de reconnaissance vocale.
OpenAI imaginer les gens pourraient utiliser à des fins malveillantes GPT-2 pour générer nouvelles trompeuses, usurper l'identité d'une autre personne la fraude en ligne, la production automatique du contenu malveillant ou médias sociaux faux, produire automatiquement le courrier indésirable ou contenu phishing. Ainsi, OpenAI pendant la libération GPT2 déclaré que « ce modèle a un risque fort d'être un abus malveillant, » a choisi de ne pas faire un modèle de formation complète de l'open source, un mouvement qui a attiré des discussions intenses et machine chercheurs d'apprentissage de l'industrie traitement du langage naturel .
Que ce soit une moquerie au monde extérieur sur leurs propres produits, « trop fier » ou OpenAI pour « délibérément hype », GPT-2 « créer délibérément de fausses nouvelles, » la force des fins de relations publiques vraiment incroyables à tout le monde dans l'industrie. La force des masses pendant qu'ils mangent le melon Tucao, alors qu'ils ne peuvent pas attendre d'explorer la puissante capacité de générer de GPT-2.
Après près d'un an, GPT-2 dans les « adopteurs précoces » à participer à l'open source et les développeurs sont prudents, faire la mise à jour éblouissante évolution.
phase GPT-2 de l'open source: amener le carnaval des développeurs terreuses
Accompagné par la controverse et les développeurs montée en flèche voix, OpenAI encore jugé prudent, on a choisi d'ouvrir en plusieurs phases. 8 mois plus tard, il mis en scène a publié un « petit » 124 modèle millions de paramètre (avec 500 Mo sur le disque), « taille moyenne » 355 modèle millions de paramètres (1.5GB ont sur le disque), et un modèle de 774 millions de paramètres (il 3Go sur le disque). Jusqu'au 6 Novembre, il a été officiellement libéré le code complet contient un maximum de 1,5 milliard la version paramètre TPG-2 de la dernière section.
Jusqu'à la version complète publiée, OpenAI n'a pas trouvé de code clair, des documents ou toute autre utilisation abusive de la preuve, qui est le résultat d ' « abus de GPT-2 » a été craint n'a pas eu lieu, mais OpenAI croient encore qu'une version complète en même temps également laisser des personnes malicieuses d'avoir la possibilité d'améliorer encore la capacité d'échapper à la détection.
Ainsi, en même temps que les différentes versions GPT-2 ont été libérés, OpenAI lui-même avec un certain nombre de périodiques équipe change de modèle TPG-2, l'authentification utilise l'effet de GPT-2, tout en évitant le risque d'une mauvaise utilisation du modèle de langage, le texte d'essai parfait détecteur de génération. En même temps, OpenAI travaille également aussi avec un certain nombre d'institutions de recherche, comme l'étude de la sensibilité de l'information numérique de langage humain généré par le modèle, l'étude de la possibilité de GPT-2 de l'utilisation malveillante des statistiques pour le TPG-2 peut être généré texte détection de.
Peu importe quel point OpenAI attention, avec la sortie de différents paramètres de capacité du modèle, les développeurs extérieurs ne peut pas attendre d'explorer une variété de directions.
Avril 2019, scientifique de données BuzzFeed Max Woolf en utilisant un package Python avec 117 millions sur les paramètres de « petite » version de la génération de texte OpenAI modèle TPG-2 et affiner le script généré, ouvrez un « Lite GPT-2 » afin de mieux aider les personnes générer un texte, ce qui peut donner beaucoup de contenu inattendu.
En OpenAI progressivement processus open source, les deux étudiants diplômés de l'Université Brown a pris la tête une copie paramètre 1,5 milliard la quantité de GPT-2, et nommez-le OpenGPT-2. Processus, qu'ils utilisent leur propre code de formation scratch modèle TPG-2 seulement dépensé environ 50000 $. L'ensemble de données utilisé dans le procédé décrit les documents OpenAI se réfèrent également autant que possible. Il y a beaucoup d'utilisateurs enthousiastes du test après que lesdits effets de texte de sortie OpenGPT-2 est mieux que TPG paramètre version 2 à 7,74 Yi de OpenAI. Bien sûr, certaines personnes pensent, et il n'y a pas de meilleur que le modèle TPG-2 a créé un effet de texte.
Alors que dans le pays, situé à Nanjing, un homme nommé « Zeyao Du » développeurs, open source sur GitHub GPT-2 chinois, il peut être utilisé pour écrire de la poésie, le journalisme, romans et pièces de théâtre, ou d'un modèle de formation linguistique commun. Cet effet peut être obtenu Guards modèle GPT-2 utilise le paramètre de 1,5 milliard. Il est actuellement des résultats pré-formation ouverts et Colab Demo démo, cliquez trois fois, on peut générer une histoire chinoise personnalisée.
modèle TPG-2 et de nombreuses tentatives de plus. Singapour, un lycéen Rishabh Anand ouvrir un « client » GPT-2 léger --gpt2-client, il est un entrepôt d'emballage d'origine GPT-2, simplement 5 lignes de code pour mettre en uvre la génération de texte.
Plusieurs chercheurs de la Chine génère de haute qualité avec le modèle TPG de la poésie classique chinoise. Par exemple, dans le document mentionné un « Qilu Bon Voyage » :. «J'ai entendu des oies traversent le ciel d'automne, rêve tout à coup Qingcheng vieux amis parcourent la route sans entrer dans Qinglin Ma, dépêche jaune main est propriétaire d'un bateau dans sa vie Chi entreprise Shan. vieux, quel jour du ministère chinois ou mauvais séjour. phase Andhra des mots d'autrefois, en état d'ébriété avec une bouteille collines Wan ". Un adieu léger plat, écriture comme pleine de vicissitudes de la vie, pleine de tristesse. Il est difficile de ne pas rendre les gens se demander: Est-ce un modèle de langage ont vraiment des sentiments?
modèle TPG-2 peut également être utilisé sur la musique. OpenAI lancé DNN --MuseNet pour générer un morceau de musique, il est un modèle de langue GPT-2 Sparse Transformer même technologie sans supervision générale qui permet MuseNet prédire la note suivante sur la base d'un ensemble de notes donnée. Le modèle peut être utilisé dans 10 différents instruments de musique en 4 minutes de musique et d'en apprendre davantage sur les différents styles de musique de Bach, Mozart, les Beatles et d'autres compositeurs là-bas. Il pourrait éventuellement être une fusion de différents styles musicaux pour créer une nouvelle uvre musicale.
Nous étions très intéressés par un caractère AI un développeur fait par jeu d'aventure GPT-2 - « donjon AI. » Plusieurs séries de texte de dialogue, AI peut vous aider à commencer un voyage « Chevalier Dragon » inattendu, ou une visite « City Detective ». Dans la prochaine industrie du jeu, l'histoire de la création du script AI, peut-être plus imaginatif?
Année, plus d'applications open source apportent GPT-2 suffisamment libéré pour éblouissante d'appel. Derrière de l'agitation et de la prospérité, en plus du risque prudent sur l'open source, OpenAI fait face à ce problème?
PNL Tyran Race: mariage OpenAI après Microsoft GPT-2 commercial
En fait, nous BERT et la tendance de l'évolution de GPT-2, nous pouvons voir un modèle de plus grande capacité à usage humain, la formation illimitée sans supervision, vous pouvez aller à créer plus et mieux conforme à la connaissance du contenu du langage humain. Mais elle a aussi des moyens pour calculer le temps, un processus de formation modèle machine à ultra grande échelle d'apprentissage GPU GPU Cluster compter sur super cher, longtemps. Cela signifie que le mode « brûler », permet aux joueurs de recueillir plus d'PNL finalement à la tête de l'entreprise, une arène de joueur Tyran minoritaire.
Il est prévisible que si la relance cette année OpenAI TPG-3.0, ou choisir un sens élevé modèle de langage de probabilité, mais prendra à plus grande échelle et d'élargir le modèle de données de formation, juste dur et BERT. PNL réalisations dans le domaine de l'application seront mises à jour à nouveau.
Mais de l'autre côté pour voir, de sorte que le « brûler » du modèle de formation linguistique de développement, il n'y a pas de perspectives claires pour l'application commerciale. OpenAI avait aussi à faire face à des choix difficiles « à suivre les sentiments technologiques de l'esprit » ou commercial « de se plier à la réalité, » le.
La réponse devrait déjà clair. En Juillet 2019, OpenAI d'accepter l'investissement de 1 milliard $ de Microsoft. Selon la déclaration officielle, OpenAI travaillera avec Microsoft pour développer de nouvelles technologies de l'intelligence artificielle pour la plate-forme cloud Microsoft Azure, et conclu un accord exclusif avec Microsoft à l'expansion des capacités de veille artificielle à grande échelle « pour honorer l'intelligence artificielle universelle (AGI) de engagement ".
Son essence est le OpenAI sur la recherche en intelligence artificielle « brûler » et son embarras commercial, ce qui rend encore plus besoin d'une telle somme de « parrain ». Microsoft Prenez modèles GPT-2 ont paramètre 1,5 milliard, par exemple, il utilise la formation v3 TPU 256, toutes les heures coûte $ 2048. Il est prévisible que si l'on veut regarder la libération GPT-3.0, le coût sera consacré principalement sur les ressources informatiques au-dessus des nuages.
Microsoft va devenir les fournisseurs cloud computing OpenAI exclusifs. La technologie de l'intelligence artificielle de OpenAI également de sortie à travers le nuage Azure. Avenir, OpenAI fera partie de la technologie sous licence à Microsoft, puis la commercialisation de ces technologies par Microsoft et vendus à des partenaires.
Soutenir cette énorme quantité de coûts, de sorte que OpenAI ont une confiance plus adéquate. Résumées ci-dessus, TPG-2 continue étape par étape pour commencer à publier autre ordre de grandeur des paramètres du modèle après Août, et tous ouverts en Novembre. De toute évidence, la direction commerciale GPT-2 à l'avenir, peut-être plus d'aide la bénédiction de Microsoft Azure. Par exemple, vous pouvez améliorer la collaboration future et Office365, participer à l'automatisation assisté bureau écrit le texte des corrections de bugs de syntaxe impliqués, peuvent également créer un système répondant à la vraie question plus naturelle.
Rêve était jeune amour, on voudrait voler vers l'avant. Les idéaux de AGI en réalité nécessaire dans la pratique commerciale. Il est prévisible qu'en 2020, Google face à une combinaison de Microsoft et OpenAI, apportera plus de vagues commercialisation de la PNL.
