Reproduit de: qubits
article 2752 mots lecture recommandée 4 minutes .
Cet article décrit la version 2019 du rapport de la technologie d'examen Analytics Vidhya AI, la plus forte croissance est la PNL, CV a été plus mature, RL vient de commencer, l'année prochaine peut ouvrir la voie à une grande épidémie.
2019, comment le développement de l'industrie de l'IA?
- PNL résultats du modèle constamment rafraîchi, Google et Facebook vous me Changba jouer;
- GAN en constante évolution, les gens peuvent même générer un visage haute résolution difficile de distinguer entre le vrai et le faux;
- Le renforcement apprendre à briser le « Star 2 » et d'autres jeux de stratégie.
L'arrivée de 2020 personnes pleines d'attentes.
Récemment, Google Analytics Vidhya 2019 AI a publié un examen technique du rapport, a résumé l'année écoulée, des progrès AI réalisés dans les différents domaines de la technologie, et la perspective d'une nouvelle tendance en 2020.
Analytics Vidhya est une communauté scientifique des données bien connues. Le rapport d'examen technique a été écrit par un certain nombre d'experts de l'industrie de l'apprentissage de la machine.
Rapport que l'année dernière, la plus forte croissance est la PNL, CV a été plus mature, RL vient de commencer, l'année prochaine peut ouvrir la voie à une grande épidémie.
Traitement automatique du langage naturel (NLP): blowout modèle de langage, des outils de déploiement émergent
PNL en 2019 pour réaliser un grand bond en avant, a fait une percée dans ce domaine cette année est inégalée.
Rapport 2018 est un bassin versant PNL, 2019 est essentiellement un développement sur cette base, donc ce domaine par bonds.
Transformer a jugé la PNLDepuis 2017 papiers L'attention est tout ce qu'il faut Depuis la publication, il a été BERT PNL modèle est représenté. Après, transformateur a jugé encore et encore les résultats de la SOTA dans le domaine de la PNL.
Google Transformateur-XL Il est un autre modèle basé transformateur, mieux que BERT dans la modélisation du langage. Suivi par le OpenAI TPG-2 Modèle, ce qui génère beaucoup comme son langage humain est connu.
La seconde moitié de 2019, BERT lui-même il y a eu de nombreuses innovations, telles que XLNet CMU, et roberta mBERT Facebook AI (BERT multilingue). Ces modèles RACE, SQUAD et d'autres tests continuent de rafraîchir le classement.
Ze GPT-2 a finalement publié la version complète des paramètres du modèle open source de 1,5 milliard.
Adresse modèle TPG-2: https: //openai.com/blog/gpt-2-1-5b-release/
Pour en savoir plus
BERT retrouver la première place dans un certain nombre de tests, après une amélioration des performances pour rattraper XLNet, le modèle pré-formation est maintenant open source
Trump imiter le ton d'une authenticité douteuse, modèle de paramètre aveugle Cornell 1,5 milliard: jamais été aussi réaliste corps, plein AI histoires les plus marquantes ici
Les grands modèles linguistiques dans la pré-formation normaleUne autre tendance est la migration de l'apprentissage PNL 2019 se produisant dans le domaine. Nous commençons à voir les modèles multi-langues qui ont été pré-formés sur un corpus de texte sans, afin qu'ils puissent apprendre les nuances de la langue elle-même potentiel.
TPG-2, le transformateur XL et d'autres modèles peuvent être peaufiné pour presque toutes les tâches de la PNL, et peut bien fonctionner dans des données relativement moins.
Comme Baidu ERNIE 2.0 Ce modèle introduit le concept de pré-formation continue, les méthodes pré-formation ont fait de grands progrès. Dans ce cadre, nous pouvons toujours introduire progressivement différentes tâches personnalisées.
L'introduction de nouvelles normes d'essaiAvec une série de nouvelles gain de performance énorme PNL modèle leurs scores de test a atteint la limite supérieure, la différence de points est très faible, même dans les tests de COLLE ont dépassé le niveau moyen de l'humanité.
Par conséquent, ces critères ne sont pas refléter de manière adéquate le niveau de développement du modèle de la PNL, ne favorise pas d'améliorer encore à l'avenir.
DeepMind, Université de New York, l'Université de Washington a proposé conjointement Facebook de nouvelles normes d'essai superglue, a rejoint la tâche plus difficile du raisonnement causal sur les cadeaux du modèle PNL nouveaux défis.
En 2019 il y a eu un grand nombre de ressources PNL pratiques:
Université de Stanford Open Source StanfordNLP bibliothèque, HuggingFace Transformateur bibliothèque de modèles de pré-formation. Spacy utiliser la bibliothèque pour créer des transformateurs de planants, qui est une base de données de qualité industrielle pour le traitement de texte.
Stanford Group PNL, a déclaré: « Nous sommes un grand modèle de formation linguistique en 2019, nous allons nous concentrer sur l'optimisation de ces modèles. »
Comme BERT, transformateur-XL, ces grandes questions modèle GPT-2 est que leur grande quantité de calcul, donc de les utiliser est presque impossible dans la réalité.
HuggingFace de DistilBERT Affichage, peut réduire la taille du modèle BERT 40%, 97%, tout en conservant sa capacité à comprendre le langage, et 60% plus rapide.
Google et Toyota viennent avec une autre façon de réduire la taille du modèle BERT ALBERT Il a gagné les réalisations de SOTA dans trois de référence de la PNL (COLLE, SQUAD, RACE).
Pour en savoir plus
GitHub Wanxing ressources PNL dans la mise à niveau: TF atteindre Pytorch et l'interopérabilité profondeur, l'intégration de 32 nouveau modèle pré-formation
Intérêt accru pour la reconnaissance vocaledomaine PNL en 2019 renouvelé pour NVIDIA NeMo Et d'autres cadres intéressés par le développement des données audio, le cadre de la formation de modèle permet de mettre fin à système de reconnaissance automatique de la parole devient extrêmement facile.
En plus de NeMo, NVIDIA a également open source QuartzNet , QuartzNet autre reconnaissance vocale de fin basé sur une nouvelle architecture de modèle à Jasper, Jasper est un petit modèle de reconnaissance vocale efficace.
Plus préoccupé par les modèles en plusieurs languesAvant de pouvoir utiliser des données multilingues, la PNL comment vraiment jouer un rôle?
Cette année, les gens Redécouvrez les moyens PNL bibliothèque multilingue (par exemple StanfordNLP) a un nouvel intérêt pour ces voies à travers le modèle avec pré-formé, peut traiter plus de 50 types de texte en langage humain. Comme vous pouvez l'imaginer, cela a eu un impact énorme sur la communauté.
Ensuite, une tentative réussie de créer un grand modèles linguistiques tels que BERT par XLM mBERT Facebook AI (plus de 100 langues) et le camembert et d'autres projets, le projet de réglage fin français:
2020 TendancesAu-dessus est un résumé des progrès dans le domaine de la PNL 2019, 2020 tendance dans ce domaine qui fera?
En tant qu'expert PNL, Kaggle grand maître de Sudalai Rajkumar spéculé que la tendance principale en 2020:
Poursuite des tendances actuelles, la formation plus de modèle d'apprentissage en profondeur sur des ensembles de données plus importants;
Construire plus d'applications de production, le modèle de la PNL plus petit va aider à cet égard;
le coût des données texte manuellement annoté est élevé, et donc des méthodes d'étiquetage semi-supervisé peut devenir importante;
modèle PNL interprétabilité, la connaissance du modèle appris tout prendre des décisions justes.
les chercheurs de la PNL dans le domaine, l'un des auteurs ULMFiT Sebastian Ruder a déclaré:
Non seulement se concentrer sur l'apprentissage à partir de données énormes, nous verrons plus de modèles sur moins d'échantillons d'apprentissage efficace;
Une importance croissante modèle de faible densité et l'efficacité;
Mettre davantage l'accent sur la collecte de données en plusieurs langues.
Vision par ordinateur (CV): segmentation d'images de plus en plus fines, AI vrai faux Yuyan
Computer Vision, cette année pour afficher une croissance significative du nombre CVPR, ICCV reçoit top des journaux internationaux. Maintenant, revoir plusieurs algorithmes importants et mettre en uvre le 2019 le plus regardé.
Kai-Ming Ho Mask R-CNN étant surchargéeMasque de notation R-CNN
par exemple COCO la tâche de segmentation d'image, Masque de notation R-CNN au-delà de Kai Ming Ho Mask R-CNN, et donc un rapport oral sera sélectionné sur Computer Vision de CVPR 2019.
Dans un tel modèle Mask R-CNN, des exemples de confiance de classification est traitée comme une mesure de la qualité du masque, mais en fait la qualité de la qualité et de la classification du masque ne sont pas une forte corrélation.
Cet article Université Huazhong des Sciences et de la technologie a été étudié pour ce problème, ils ont proposé une nouvelle méthode de notation: score masque.
Non seulement compter sur la détection directe obtenu pointage de classification, Masque modèle de notation R-CNN a également appris les règles de notation unique pour le masque: la tête MaskloU.
Compte tenu de la note de classement et masques score, Masque de notation R-CNN sera en mesure de mieux évaluer assez la qualité de l'algorithme pour améliorer les performances des exemples de modèle de segmentation.
L'équipe de recherche sur les expériences menées ensemble de données COCO, les résultats montrent Masque de notation R-CNN sur différents réseau de base, la mise à niveau AP est toujours autour de 1,5%.
Le présent document est ouvert Data Science nommé l'un des papiers haut de dix en 2019 premier trimestre.
Horizon est un document en tant que stagiaire Huang Zhao Jin, l'un des auteurs équipe de l'Université Huazhong des Sciences Professeur agrégé de l'École des télécommunications RENDUS, DÉLIBÉRATIONS aussi ce document.
SOLO
Des exemples de stagiaire de gigue octet Wangxin long SOLO proposé méthode de segmentation en utilisant, comme un exemple de division d'une méthode unique étape, le cadre est plus simple, mais les mêmes performances sur Mask R-CNN.
La méthode idée de base SOLO est une instance de segmentation redéfinie comme la perception des problèmes de prédiction de classe et génération masque de perception exemple du problème.
Les résultats expérimentaux sur des ensembles de données montrent COCO, effet SOLO généralement plus que la méthode la plus courante de diviser l'instance unique étape précédente, sur un certain nombre d'indicateurs ont également dépassé la version améliorée du masque R-CNN.
adresse pertinente
https://arxiv.org/abs/1903.00241v1https://arxiv.org/abs/1912.04488
Pour en savoir plus
Kai-Ming Ho performance au-delà Mask R-CNN! Hua Keshuo Soo Sen nouvelle méthode de segmentation d'image open source | CVPR19 orale
octet interne gigue une nouvelle méthode est proposée par exemple de segmentation: la performance Ming Chan Ho sur Mask R-CNN
EfficientNetEfficientNet est un modèle pour la méthode mise à l'échelle, développé par Google en fonction AutoML pour obtenir un taux de précision de 84,1% dans le test IMAGEnet, rafraîchir le record.
Bien que le taux exact que SOTA modèle uniquement dans sa précédente augmentation de Gpipe de 0,1%, mais plus petit, plus rapide et Flops modèle de paramètres de quantité sont considérablement réduits, les gains d'efficacité 10 fois Une grande partie.
Son auteur est un ingénieur de Google cerveau Mingxing Tan et directeur scientifique V. Le Quôc.
adresse pertinente
GitHub: https: //github.com/tensorflow/tpu/tree/master/models/official/efficientnet
Thèse: https: //arxiv.org/abs/1905.11946
Pour en savoir plus
modèle Google Open Source échelle EfficientNets: IMAGEnet enregistrement précision, l'efficacité a augmenté de 10 fois
Detectron2Le super bibliothèque de détection cible PyTorch de Facebook.
Que la première génération Detectron, la formation plus rapide que jamais, plus que jamais la fonction complète, les modèles de soutien aussi plus abondantes que jamais. GitHub d'abord montés à bord la liste une fois chaude.
En fait, Detectron2 est une réécriture complète de la première génération Detectron: la première génération est mis en uvre dans les années Caffe2, et afin d'itérations de conception plus rapidement modèle et expériences, Detectron2 dans PyTorch en écrit à partir de zéro.
Et, Detectron2 modularisé, l'utilisateur peut mettre en uvre leur propre module sur mesure, un système de détection de cible est appliquée à une partie de la route.
Cela signifie que la plupart des nouvelles études, avec quelques centaines de lignes de code peut être écrit, et peut faire partie de la nouvelle mise en uvre, avec le noyau bibliothèque Detectron2 complètement séparée.
Sur la base de tous les modèles de génération Detectron2 disponible de (plus rapide R-CNN, Masque R-CNN, RetinaNet, DensePose), a également rejoint la Cascade R-NN, Panoptic FPN, et le nouveau modèle comme TensorMask.
adresse pertinente
GitHub: https: //github.com/facebookresearch/detectron2
Pour en savoir plus
Liste des tendances GitHub première: Super PyTorch bibliothèque de détection cible Detectron2, formation plus rapide, un soutien plus la tâche
GAN sont plus forts2019, GAN sont toujours actifs.
Par exemple, aussi de la Google DeepMind VQ-II VAE L'image résultante est plus réaliste que la haute définition BigGAN, mais aussi plus diversifiée: https: //arxiv.org/abs/1906.00446
BigBiGAN Non seulement peut produire d'excellentes images de qualité, a également établi un dossier sur la tâche de classification d'image: https: //arxiv.org/abs/1907.02544
co-produit Israel Institute of Technology et Google, a remporté le meilleur papier ICCV2019 Singan : Https: //arxiv.org/abs/1905.01164
NVIDIA StyleGAN a également évolué en haute énergie StyleGAN2 , Constituent la première génération de divers défauts: https: //arxiv.org/abs/1912.04958
Pour en savoir plus
GAN plus jamais être dépassé! Les étudiants font face à des animaux adultes plus réel HD à l'ennemi, DeepMind libéré deuxième génération VQ-VAE
Actualiser IMAGEnet enregistrement, GAN est non seulement faux! DeepMind classification d'image avec elle, pic classification professionnelle AI
ICCV2019 Best Paper Singan interprétation complète pour voir celui-ci pour comprendre la
Si vous ne le faites pas StyleGAN2, vraiment, je pense que c'est le summum de la première génération: le visage NVIDIA l'évolution du générateur de haute énergie, constituent un défaut majeur
2020 Tendances
Perspectives pour 2020, Analytics Vidhya estime que la mise au point du champ visuel, toujours axé sur le GAN:
La nouvelle méthode génère de plus en plus réaliste styleGAN2 tels que des images du visage, la détection DeepFake deviendra de plus en plus importante. Et visuel (audio) effectuera des recherches dans ce sens.
La méta-apprentissage et l'apprentissage semi-supervisé, est un autre axe majeur de la recherche en 2020.
Apprentissage par renforcement (RL): Star DOTA fois craqué, une plus grande disponibilité
En 2019, la méthode actuelle du renforcement étendu aux ressources informatiques importantes, et a fait des progrès.
L'année dernière, une série d'apprentissage de renforcement pour résoudre les problèmes environnementaux complexes difficiles à résoudre dans le passé, comme le haut beat humain joueurs professionnels dans Dota2 et Starcraft 2 et d'autres jeux.
Le rapport note que, en dépit de ces développements ont provoqué beaucoup d'attention de l'industrie des médias, mais la méthode actuelle est encore il y a quelques problèmes:
Sous besoin d'un grand nombre de données de formation, seulement quand il est suffisamment précis et la situation de l'environnement de simulation rapide afin d'obtenir les données de formation. De nombreux jeux vidéo est le cas, mais le problème avec la plupart du monde réel est pas.
En conséquence de ce modèle de formation, par conséquent, l'algorithme d'apprentissage de renforcement massif, il se sent comme l'exploitation minière un peu plus intensive dans la surproduction de la stratégie spatiale de problèmes, plutôt que de laisser un potentiel relation de cause à effet entre les milieux d'apprentissage et intelligemment résumés.
De même, la quasi-totalité existant RL profonde généralisation de la méthode simple échantillon et l'apprentissage sont très fragiles en dehors des échantillons contradictoires, sur le terrain, il n'y a pas de bonne solution.
Par conséquent, le principal défi consiste à progressivement de la réponse profonde RL à l'incertitude de l'environnement, se est de se concentrer sur les progrès les plus élémentaires, comme la généralisation, l'apprentissage et l'apprentissage de transfert à partir des données limitées et ainsi de suite. Des tendances de la recherche dans certains organismes, nous pouvons voir que.
Tout d'abord OpenAI a publié un nouvel environnement comme une salle de gym, utiliser l'environnement pour générer le niveau de capacité de généralisation à tester l'algorithme profond RL.
De nombreux chercheurs ont commencé à la question et réévaluer notre définition actuelle de « l'intelligence ». Nous commençons à mieux comprendre les réseaux de neurones faiblesses non détectées et utiliser ces connaissances pour construire de meilleurs modèles.
Pour en savoir plus
1-10 défaite, 5 minutes Crash! StarCraft 2 master professionnel a été battu pour la première fois dans l'histoire de l'IA, AlphaStar une célèbre bataille
RCC 99,8% adversaires humains trois courses de Grand Maître! StarCraft AI sont montés à bord de la nature, la technologie première divulgation complète
2: 0! Dota2 champion du monde OG roule OpenAI, toute la course humaine seulement deux tourné vers le bas en dehors de la tour
Comment champion Dota2 OG écrasé AI? OpenAI papiers complets accumulés trois ans a finalement été libéré
2020 Tendances
Dans l'ensemble, prévoir les tendances en 2020 sont les suivantes:
A partir des données limitées dans l'étude et la promotion de l'étude et la recherche sera le thème central de renforcement;
percée d'apprentissage par renforcement dans le domaine étroitement lié à la progression de la profondeur de champ d'étude;
Il y aura de plus en plus de recherches pour exploiter le modèle généré d'énergie pour améliorer la diversité du processus de formation.
Etude de Crossover: AI recherche approfondie multidisciplinaire
Avec le développement de l'intelligence artificielle, la recherche interdisciplinaire est également devenu populaire cette année. La figure IA, sont fréquentes en médecine, les mathématiques et même enquête BCI.
Interface cerveau informatiqueDans le domaine de Musk, Facebook parié BCI, l'apprentissage en profondeur est d'aider les chercheurs à penser decode du cerveau.
étude de la nature, comme cette carte l'Université de Californie, San Francisco: l'utilisation de l'apprentissage en profondeur pour lire directement le cerveau pour convertir les signaux du cerveau dans la parole.
Avant BCI du discours peut générer huit mots par minute, et l'étude de nouveaux dispositifs, peut générer 150 mots par minute, proche du taux de la parole humaine naturelle.
médecineDans le domaine médical, l'apprentissage des techniques de la machine jouent également un rôle non seulement dans la reconnaissance d'images médicales.
Par exemple, une étude de l'Institut allemand pour l'ingénierie tissulaire et la médecine régénérative, sur l'utilisation de l'algorithme d'apprentissage en profondeur DeepMACT, détection automatique et l'analyse de l'ensemble du corps des métastases cancéreuses chez les souris.
Sur la base de cette technologie, les scientifiques d'abord observé site micrométastases unique formation de cellules cancéreuses, et l'efficacité du travail 300 fois Au-dessus.
« À l'heure actuelle, le taux de réussite du cancer des essais cliniques, environ 5%. Nous pensons que la technologie DeepMACT peut grandement améliorer le processus de développement de médicaments études pré-cliniques. Par conséquent, il pourrait conduire à des candidats médicaments plus puissants pour les essais cliniques, et devrait contribuer à sauver de nombreuses vies. « auteur de l'étude Ali Ertürk représentation correspondants.
mathématiquesBien que les mathématiques est le fondement de la science naturelle, mais l'IA continue au développement, mais aussi joué un effet « feedback ».
Facebook a publié un nouveau modèle peut être moins d'une seconde du temps, des équations différentielles de résolution précise, intégrale indéfinie.
Non seulement cela, mais aussi au-delà de la performance habituelle de Mathematica et Matlab.
équations intégrales et équations différentielles, peut être considérée comme une expression dans une autre expression, les chercheurs pensent que c'est un exemple exceptionnel de la traduction automatique, vous pouvez utiliser des méthodes PNL pour résoudre.
Le procédé est principalement divisé en quatre étapes:
- L'expression mathématique exprimée sous la forme d'un arbre;
- Introduit modèle seq2seq;
- La génération d'une expression aléatoire;
- Le nombre de calcul des expressions.
Les chercheurs dans un 5000 équations de données axées sur la précision du modèle pour résoudre les équations de calcul ont été évaluées.
Les résultats montrent que pour les équations différentielles, le décodage de recherche de faisceau peut grandement améliorer la précision du modèle.
Sur l'ensemble de test contient 500 équations, le plus performant des logiciels commerciaux est Mathematica.
Quand une nouvelle méthode est une taille de faisceau de la recherche 50, afin d'améliorer la précision du modèle de 81,2% à 97%, bien mieux que Mathematica (77,2%)
Et, dans certains Mathematica et Matlab incapable de résoudre le problème, le nouveau modèle sont une solution efficace.
À l'horizon 2020 Apprentissage
De la PNL à la vision informatique, de renforcer l'étude, en 2020, il y a beaucoup de choses à espérer. Voici quelques tendances clés Analytics Vidhya prévision de 2020:
D'ici 2020, le nombre de postes d'apprentissage de la machine va continuer à croître de façon exponentielle. La PNL est en grande partie en raison du développement de nombreuses entreprises cherchera à élargir l'équipe, c'est un bon moment pour entrer sur le terrain.
rôle d'ingénieur de données sera plus important.
AutoML a décollé en 2018, mais n'a pas atteint la hauteur souhaitée en 2019. L'année prochaine, ainsi que des solutions prêtes pour AWS et Google Cloud est devenu plus important, nous devrions accorder plus d'attention à ce sujet.
D'ici 2020, nous allons enfin voir une année décisive pour l'apprentissage par renforcement il? Ces dernières années, il a été dans le marasme depuis le transfert de solutions de recherche au monde réel est avéré être un obstacle majeur.
Enfin, vous pouvez examiner le rapport, mutatis mutandis, 2018, 2019 technologie AI pour faire une sous performance, il ~ Vu l'année 2018 marque percée technologique AI
- FIN -
attention Tsinghua - données Académie des sciences de Qingdao plate-forme publique micro-canal officiel " données d'envoi THU « Sisters et n ° » Les données envoyées THU « Pour plus de conférences et de bien-être contenu de qualité.
