AI Technology Review par: La semaine dernière, la profondeur de l'apprentissage académique haut IPSC 2019 conférence à la Nouvelle-Orléans a pris fin. Il est diplômé de l'Université de Stanford, maintenant à l'informaticien féminin NVIDIA Chip Huyen a participé à la réunion, parler de ses sentiments au sujet du sommet, elle voulait dire la chose suivante 8:00:
1. Inclusive
Le IPSC 2019 a mis en évidence le rôle important de l'inclusion dans l'IA: Les deux premiers grands discours discours d'ouverture de --Sasha Rush et Cynthia Dwork a invité des conférences - tout sur l'équité et l'égalité. Une partie des données soulève des préoccupations:
Haut-parleurs et les participants, les femmes ne représentaient que 8,6%, respectivement, et le ratio de 15%;
Les deux tiers des chercheurs LGBTQ + n'a pas assisté à une capacité professionnelle;
L'invitation à l'Assemblée générale un total de huit haut-parleurs, mais sont blancs.
Malheureusement, cela ne semble pas attirer l'attention et de réflexion des chercheurs d'Amnesty International. D'autres ateliers sont les foules, mais l'IA pour l'atelier bien social ne se soucie, cette situation semble avoir amélioré la Yoshua Bengio. Parmi les nombreuses activités d'échange de IPSC j'ai participé, personne n'a mentionné la diversité - jusqu'à ce que je demandé à haute voix pourquoi le parti voudrait me inviter ce n'est pas le temps pour mes activités scientifiques et technologiques, un ami m'a dit: " dire qu'il peut être un peu offensé, vous êtes venu ici parce que vous êtes une femme ".
Pour une raison quelconque l'existence de ce phénomène est - une sorte de non-sujet « technique », ce qui signifie, même si vous passez plus de temps sur ce ne sera votre carrière de recherche utile. Et en partie parce que l'atmosphère sociale existe encore quelques problèmes. Un ami m'a dit, ne pas ignorer le défi dans un groupe de chat mon peuple, parce que « il aime à se moquer de ceux qui discutent de l'égalité et de la diversité. » Certains de mes amis ne parlerai pas de tout sujet lié à la diversité sur Internet, parce qu'ils ne veulent pas « quelque chose à faire et le genre de sujet. »
2. Caractérisation de l'apprentissage non supervisé et l'apprentissage des migrations
L'objectif principal de caractériser l'apprentissage non supervisé, les données d'annotation ne se trouve jamais des données de caractérisation utiles pour compléter la mission de suivi. En PNL, l'apprentissage non supervisé est souvent caractérisée par l'utilisation de la modélisation linguistique terminée. Ensuite, apprendre à caractériser l'utilisation de l'analyse des sentiments, la reconnaissance d'entités nommées, traduction automatique et d'autres tâches.
L'année dernière, quelques bons résultats du papier, le contenu est la PNL apprentissage non supervisé au sujet de la caractérisation, y compris Elmo (Peters et al.), ULMFiT (Howard et al.), OpenAI de TPG (Radford et al.), BERT (Devlin et al.), bien sûr, il est « le risque est trop grand pour publier GPT-2 complet. »
Une fois le modèle GPT-2 complet sur l'affichage à l'IPSC, des résultats très satisfaisants. Vous pouvez entrer une déclaration au début, il vous aidera à atteindre la création ultérieure du texte - comme écrire l'article BuzzFeed, avec les lettres, les documents scientifiques et même inventé le sens de certains mots. Mais maintenant, il est toujours pas droit plat entièrement horizontal avec les humains. L'équipe travaille actuellement sur GPT-3, une plus grande échelle, l'effet peut être mieux. Je ne peux pas attendre de voir les résultats de celui-ci.
Alors que la vision par ordinateur est la communauté la migration des applications d'apprentissage réussie au début, mais sa tâche de base - dans le train le modèle de classification IMAGEnet - est toujours supervisé. traitement du langage naturel et la communauté de la communauté de vision par ordinateur se posent la même question: « Comment peut-on caractériser l'apprentissage non supervisé appliqué à l'image? »
Bien que les plus célèbres laboratoires ont commencé à étudier, mais seulement apparu dans une conférence de IPSC papier: (. Metz et al) « Mise à jour Méta-apprentissage des règles pour l'apprentissage non supervisé représentation ». Leur algorithme ne met pas à jour les poids, mais mis à jour pour apprendre les règles. Puis affiner la caractérisation des échantillons de haute école pour apprendre les règles apprises dans une petite quantité de marquage, la classification d'images pour résoudre le problème. Ils peuvent trouver pour apprendre les règles supérieures à 70% le taux de précision dans MNIST et mode MNIST.
L'auteur explique quelle partie du code, mais n'a pas l'intention de les exposer, car « il est associé à un calcul. » La boucle externe dure environ 100000 étape de formation nécessite 200 heures de formation sur 256 GPU.
J'ai le sentiment que dans un proche avenir, nous verrons plus ces documents. Vous pouvez utiliser des tâches d'apprentissage sans supervision comprennent: le codage automatique, rotation de l'image prédictive (. Gidaris et al papier « Unsupervised apprentissage Représentation en prédisant l'image Rotations » est le feu dans l'IPSC 2018), prévoir l'image suivante dans la vidéo.
3. backtracking ML
Des idées similaires et l'apprentissage de la machine élégante, sont dans le cercle de tour. Lors de la séance d'affiches de se promener sentir comme marcher dans les couloirs de la mémoire. débat IPSC encore plus en regardant aussi avec impatience la fin sur « a priori contre la structure » du sujet, qui est le sujet l'an dernier, Yann LeCun et Christopher Manning a discuté, cette discussion depuis des années entre bayésienne et la fréquence des écoles similaires débat.
MIT programme « Grounded l'apprentissage des langues et la compréhension » de Media Lab a été arrêté en 2001, mais le retour apprentissage des langues mis à la terre à la scène cette année avec deux documents, mais mis sur le manteau de l'apprentissage de renforcement:
DOM-Q-NET: sur le langage structuré (Jia et al.) Grounded RL: donné une cible exprimée en langage naturel, l'algorithme d'apprentissage par renforcement pour apprendre à naviguer dans les pages des champs remplis et cliquez sur le lien.
BabyAI: Une plate-forme d'étudier l'efficacité de l'échantillon de l'apprentissage des langues Grounded (Chevalier-Boisvert et al.): A et OpenAI plate-forme Gym compatible avec un agent de bot fait main, l'agent peut simuler l'apprentissage humain instructeur agent langue synthétique.
Je pense que ces deux documents et AnonReviewer4 comme:
» ...... et les méthodes d'analyse sémantique de l'étude de la littérature présentée ici est très similaire, bien que le document ne cite que la profondeur des articles récents apprentissage de renforcement. Je pense qu'il bénéficierait grandement de l'analyse sémantique de l'article, la communauté sémantique peut être résolu Inspirez-vous cet article ...... mais en fait les deux communautés ne sont pas beaucoup d'échanges, même si dans certains cas que nous avons étudiés sont des problèmes similaires ".
automate d'états finis déterministes (DFA) ont également deux documents sont montés à bord IPSC 2019 étape:
Représenter les langues officielles: (. Michalenko et al) Comparaison entre Finite et récurrente Automata Réseaux de Neurones
Apprentissage Représentations État des réseaux Finite politique récurrente (Koul et al.)
La principale motivation pour les deux documents, parce que beaucoup d'espace d'état caché RNN, donc si le nombre d'états peut être réduit à un nombre limité de celui-ci? Comme le montre le document, je doute que DFA peut représenter avec précision RNN dans la langue, mais j'aime apprendre pendant la phase de formation RNN, puis le convertir à l'esprit de raisonnement DFA, comme Koul et al. Les résultats obtenus caractérisent le fini nécessite trois état de mémoire discret et de l'état d'observation 10 seulement dans le jeu Pong, ce qui contribue également à expliquer RNN.
Trois étapes de l'apprentissage d'une DFA (Koul et al) de RNN
Machine d'extraction automatique (Koul et al)
4. RNN de faveur
2018-2019 présenté dans le document reflète le thème du changement: RNN forte baisse. Il est également prévu, parce que même si RNN applique aux données de séquence, mais il y a un grand défaut: ils ne peuvent pas parallèles de calcul, et ne peut donc pas tirer profit d'une étude plus large des conducteurs depuis 2012 - Les opérateurs vigueur. RNN est pas populaire dans le domaine de la vision par ordinateur et l'apprentissage de renforcement, une fois populaire dans le domaine du traitement du langage naturel, ils sont remplacés par une architecture à base d'attention.
Est-ce RNN moyen sera abandonné? Il est pas toujours le cas. 2019 L'un des deux meilleurs papiers IPSC « neurones ORDONNÉ: L'intégration des structures d'arbres dans les réseaux de neurones récurrents » sur RNN et pertinents. En plus de ce chef-d'uvre et mentionné ci-dessus deux documents sur les automates, IPSC 2019 a également reçu neuf documents sur RNN, la plupart des recherches RNN creuser plus profond des connaissances de base des mathématiques, plutôt que d'explorer de nouvelles applications de RNN .
Dans le secteur industriel, RNN est encore très actif, en particulier dans l'affaire de l'entreprise avec des données de séries chronologiques, comme les sociétés commerciales. Malheureusement, ces entreprises sont généralement ne publient pas leurs propres recherches. Même maintenant RNN pas si attrayante pour les chercheurs, nous savons aussi que dans l'avenir, il pourrait « revenir ».
5. dynamique GAN reste forte
Par rapport à l'année dernière, liée à l'évolution plus négative de GAN, mais le nombre de documents connexes a augmenté, une augmentation d'environ 70 à environ 100. Ian Goodfellow a été invité à donner une conférence sur le thème de GAN, comme toujours, été beaucoup d'attention.
IPSC 2019 La première session de l'affiche est sur le GAN de. Il y a eu beaucoup nouvelle architecture GAN, l'amélioration de l'architecture GAN existante, ainsi que l'analyse GAN. les applications de GAN comprennent la génération d'image, la génération de texte, une pluralité d'art de synthèse audio, il pate-GAN, GANSynth, ProbGAN, InstaGAN, RelGAN, MisGAN, SPIGAN, LayoutGAN, KnockoffGAN autres architectures différentes. Je ne sais pas vraiment dire ce que cela signifie, parce que j'ai appelé l'analphabétisme GAN dans le domaine. En outre, Andrew Brock n'a pas mis son grand modèle GAN appelé Gigantesque, et je me sens très déçu.
session d'affiches GAN a révélé la réaction de la communauté à la GAN combien la polarisation Oui. Certains chercheurs non-GAN a déclaré: « Je ne peux pas attendre GAN veulent cette vague de troubles rapidement dans le passé », à mon avis, ils peuvent être jaloux, « une confrontation a été mentionné, mon esprit va juste en bas. ».
6. L'absence d'étude approfondie inspiré par la biologie
Compte tenu de tous les soucis et la discussion du séquençage du gène CRISPR et les bébés, IPSC est même pas beaucoup de profondeur et de combiner l'apprentissage de la thèse de la biologie, ce qui est surprenant. Sur ce sujet, un total de six articles:
Y compris deux documents sur l'architecture inspirée par la biologie:
Apprendre-Biologiquement Plausible algorithmes à l'échelle grande datasets (Xiao et al.)
Une théorie unifiée des premières représentations visuelles de la rétine à travers Cortex anatomiquement Constrained profonde CNNs (Lindsey et al.)
Un article sur la conception de l'ARN:
L'apprentissage de l'ARN Design (Runge et al.)
Environ trois opérations sur les protéines (manipulation de protéines):
Localisation des protéines au niveau humain avec Convolutif Neural Networks (Rumetshofer et al.)
L'apprentissage structure des protéines avec un simulateur Différentiable (Ingraham et al.)
L'apprentissage embeddings de séquences de protéines en utilisant des informations de structure (Bepler et al.)
Convolution réseau de neurones inspiré par la rétine (Lindsey et al.)
Mais pas de papier est sur le génome, ni un atelier sur ce sujet. Il est vraiment frustrant ...... Cependant, ceci est pour une étude approfondie des intéressés chercheur en biologie ou biologiste pour étudier la profondeur d'intérêt, il est une énorme opportunité.
Allons énumèrent juste un fait: le premier auteur de la rétine papier Jack Lindsey est encore étudiants à l'Université de Stanford. Les enfants n'ont pas commencé à appuyer l'acceptation sociale de celui-ci.
7. L'apprentissage de renforcement est encore soumettre des documents dans les sujets les plus chauds
Documents de recherche sur IPSC 2019 Assemblée générale montre que les communautés d'apprentissage de renforcement sont jamais approche de modèle tourné et algorithme basé sur un modèle efficace et des échantillons de l'algorithme méta-apprentissage. Ce changement est susceptible d'être TD3 (Fujimoto et al., 2018) et SAC (Haarnoja et al., 2018) contrôle continu Mujoco réglé scores élevés sur la référence, et R2D2 (Kapturowski et al., 2019 RPR) obtenu inspirés des scores élevés sur les tâches de contrôle discret Atari.
algorithme de modèle asymptotiquement libre et le même algorithme basé sur un modèle (par exemple modèle d'environnement d'apprentissage à partir des données, puis en utilisant le plan de modèle ou de générer plus de données) expérience dans l'utilisation de 1 / 10-1 / 100 de la formation, pourrait répondre la performance. Cet avantage montre que les tâches du monde réel algorithme basé sur un modèle approprié. Lorsque le simulateur appris peut-être défectueux, l'erreur peut être obtenue par modèle dynamique plus sophistiqué de rémission, comme simulateur intégré (Rajeswaran et al.). Une autre façon de renforcer l'apprentissage de problèmes du monde réel que le support de simulateur tout complexe randomisation: un environnement simulé dans une variété de stratégies de formation pourrait penser que le monde réel est « une autre répartition aléatoire », et le succès (OpenAI).
Peut être effectuée sur une pluralité de tâches pour apprendre élément de transition rapide de telle sorte que l'algorithme d'apprentissage échantillon efficacité grandement améliorée et le rendement (Promp (Rothfuss et al.), PEARL (Rakelly et al.)). Ces améliorations nous rapprocher de « renforcer l'apprentissage du moment IMAGEnet, » que nous pouvons utiliser la stratégie de contrôle de l'apprentissage d'autres tâches, plutôt que de partir de la stratégie de formation de zéro (bien sûr, est encore la tâche trop complexe ne peut pas être atteint).
Dans les six tâches standard, PEARL (Rakelly et al) échantillons de formation de performance asymptotique et yuan d'efficacité sont mieux qu'avant le yuan pour renforcer l'apprentissage
IPSC 2019 reçoit une grande partie du papier, ainsi que la structure et prieurs dans tous les ateliers de papiers RL (SPiRL), est la connaissance de la façon d'intégrer l'algorithme d'apprentissage de l'environnement. Bien que l'un des principaux avantages de l'algorithme d'apprentissage de renforcement en profondeur précoce est générale (par exemple DQN utilisation de tous les jeux Atari même architecture, sans avoir à connaître quel jeu particulier), mais l'introduction du nouvel algorithme démontrent l'aide de connaissances préalables à résoudre plus tâche complexe. Par exemple, dans le réseau Transporter (Jakab et al.), Avec plus d'informations pour explorer la structure de l'agent d'utiliser les connaissances avant d'effectuer.
Dans l'ensemble, au cours des cinq dernières années, la communauté d'apprentissage de renforcement a mis au point un certain nombre d'outils efficaces pour résoudre les problèmes d'apprentissage de renforcement sans modèle. Le moment est venu de proposer des algorithmes d'échantillonnage plus efficaces peuvent être utilisés pour renforcer la migration sur les problèmes réels étudiés.
En outre, Sergey Levine peut être la plupart des auteurs de cette année, il y a autant que 15.
8. La plupart de papier de réception sera bientôt oublié
Lors de la réunion, j'ai demandé un chercheur bien connu comment il voit recevoir du papier cette année. Il eut un petit rire: « La plupart des bout de documents de conférence réception sera oublié. » Domaine de l'apprentissage machine telles que le développement rapide des résultats les plus avancés après quelques semaines ou quelques jours même peut être brisé, mais la plupart du papier de réception officiel du salon a été dépassé pas non plus surprenant. Par exemple, le papier IPSC 20188 contre les papiers échantillon de sept a été rompu avant le début de l'Assemblée générale.
J'entends souvent un tel commentaire à la réunion: la réception des documents / rejeter la très aléatoire. Je ne l'ai pas nommé, mais certains bien connus ou très documents cités à l'Assemblée générale avait été rejetée auparavant. En revanche, beaucoup de papiers bien que personne n'a été des références acceptées.
Dans le cadre de ce domaine, je fais face souvent une variété de menaces. Je pense que peu importe ce que l'idée, il semble qu'il y ait toujours quelqu'un d'autre a fait, et fait mieux, plus vite. Toutefois, si le papier n'a pas aidé tout le monde, alors ce qui est publié est le point? Qui peut dire ce qu'ils ah!
conclusion
Parce que l'espace est limité, il y a beaucoup de tendances que je ne pouvais pas écrire une analyse détaillée, par exemple:
Optimisation et régularisation: Adam et le débat SGD continue. IPSC Assemblée générale cette année beaucoup de nouvelles technologies, dont certaines sont tout à fait passionnant. Il semble que chaque laboratoire développent leur propre optimiseur, la même chose est vraie de notre équipe.
Évaluation métrique: Avec le modèle génère de plus en plus populaire, nous avons besoin inévitablement de proposer de nouvelles mesures pour évaluer la sortie générée.
Si vous voulez en savoir plus, vous pouvez aller voir un 55 IPSC de David Abel a publié 2019 notes. Pour les personnes qui veulent savoir IPSC 2019 points chauds, en dessous de ce chiffre peut être en mesure de vous aider à:
J'ai vraiment apprécié IPSC cette Assemblée générale - il est assez grand, vous pouvez trouver beaucoup d'amis partageant les mêmes idées ici, assez petit, vous pouvez profiter du plaisir ne s'alignent pas, le calendrier de quatre jours de réunions arrive aussi. En revanche, NeurIPS réunion un peu plus, les participants observeront les quatre jours après que je pensais que les papiers d'affiches: « Regardez toutes ces connaissances, je maintenant saisir, mais trop paresseux pour se déplacer. »
Je pensais juste que des plus grands gains en conférence IPSC, il est la force motrice de la recherche scientifique. Zhuoyue Cheng et beaucoup de mon âge qui a fait des recherches scientifiques me permettent de voir la beauté de la recherche scientifique, me motiver à travailler plus dur à faire des recherches. D'ailleurs, même si seulement le temps cette semaine pour regarder les journaux et rencontrer de vieux amis est aussi un choix fabuleux ~
via huyenchip.com/2019/05/12/top-8-trends-from-iclr-2019.html
2019 Sommet mondial sur l'intelligence artificielle et robotique
Organisé par la Fédération chinoise informatique, Lei Feng réseau et l'Université chinoise (Shenzhen) Hong Kong co-hôte du Sommet mondial 2019 sur l'intelligence artificielle et robotique (CCF-GAIR 2019), sera 2019 Nian 12 Juillet à 14 Tenue à Shenzhen.
D'ici là, le lauréat du prix Nobel JamesJ. Heckman, académicien étranger, président du haut du monde, bien connu Fellow, un certain nombre d'invités poids lourds seront personnellement Zuozhen , Pour discuter de l'intelligence artificielle et sur le terrain complexe de situation de survie de la robotique, la production, l'investissement et ainsi de suite.
Cliquez sur Lire l'original , joindre le renforcement du papier groupe de discussion d'apprentissage, il ~
