1 Ji-won nouveau rapport
Octobre 2015, Google a annoncé le lancement du cerveau « Google cerveau Programme de stages » (Google cerveau programme de résidence), pour une période d'un an, de se concentrer sur l'apprentissage de la machine et l'apprentissage en profondeur des gens ont commencé à se préparer à une carrière. Les stagiaires peuvent utiliser l'infrastructure unique Google, en collaboration avec les meilleurs chercheurs du terrain.
Juin 2016, la première session du programme de stage du cerveau Google a commencé. De la science informatique à la physique, les mathématiques, la biologie et les neurosciences, les membres de différents milieux. Dr Certaines personnes graduées, certaines personnes ont des années d'expérience de travail. Ils ont également étudié le sujet de la compréhension du langage naturel, la robotique, les neurosciences et de la génétique, couvrant un large éventail.
Il est rapporté que jusqu'à présent, le premier lot de stagiaires Google du cerveau ont été IPSC (15), ICML (11), CVPR (3), EMNLP (2), RSS, GECCO, ISMIR, ISMB et Cosyne et d'autres grands apprentissage de la machine et réunion journaux publiés plus de 30 articles (les chiffres entre parenthèses indiquent le nombre d'articles publiés dans des réunions pertinentes). De plus, 18 articles dans NIPS, ICCV, BMVC et "Nature - méthode" à l'étude.
programme de stage Google cerveau premier anniversaire de l'extrait final
Donc, nous allons jeter un oeil à ces résultats (par ordre alphabétique).
Regardez d'abord deux travaux publiés dans le Distiller « Interactive Journal » de:
1. « voir » comment générer réseau de neurones caractères manuscrits
Explorer le réseau de neurones en utilisant un procédé interactif comment générer des caractères manuscrits. documents connexes: « caractères écrits à la main générés par le réseau de neurones quatre expériences » (quatre expériences dans l'écriture manuscrite avec un réseau de neurones). Auteur :. Carter et al, "Expériences en écriture manuscrite avec un réseau de neurones", Distiller 2016.
2. Explorer comment les robots apprennent des systèmes d'observation mimétique du mouvement humain
Thèse "Temps réseau de contraste: voir des observations de l'apprentissage supervisé" (Time-contrastive Réseaux: apprentissage auto-surveillées de Multi-View Observation). Auteur: Pierre Sermanet, Corey Lynch, Jasmine Hsu, Sergey Levine, Atelier CVPR (2017)
3. formation approfondie de l'apprentissage par renforcement étude à grande échelle des systèmes distribués
Pour le matériel informatique en optimisant la distribution, ce modèle peut être utilisé pour renforcer l'étude de grande échelle la formation en profondeur du réseau d'apprentissage distribué. Thèse: « réalisée par des équipements d'apprentissage de renforcement optimisation de la mise en page » (Device avec optimisation de la position Apprentissage par renforcement). Auteur: Azalia Mirhoseini, Hieu Pham, Le Quôc, Mohammad Norouzi, Samy Bengio, Benoit Steiner, Yuefeng Zhou, Naveen Kumar, Rasmus Larsen, Jeff Dean, ICML (2017)
4. Optimisation de découverte automatique
Nous proposons une méthode pour les méthodes d'optimisation des méthodes automatisées, en particulier l'optimisation automatique du cadre de l'apprentissage en profondeur. Thèse: « Recherche avec l'apprentissage par renforcement optimiseur réseau de neurones » (Neural Optimizer Recherche avec l'apprentissage par renforcement). Auteur: Irwan Bello, Barret Zoph, Vijay Vasudevan, Le Quôc, ICML (2017)
5. Utilisation réseau de neurones pour générer une nouvelle architecture de RNN, au-delà de l'architecture LSTM nombreuses tâches
la conception de réseau de neurones est très fastidieux difficile. Avec cette nouvelle technologie, il est possible de générer automatiquement des performances supérieures l'architecture RNN. La figure de la gauche est une architecture de LSTM, le droit d'utiliser des réseaux de neurones pour générer une nouvelle architecture de RNN. Ce dernier est supérieur à LSTM largement utilisé dans une variété de tâches différentes. Thèse: « Recherche avec l'apprentissage par renforcement de l'architecture réseau de neurones » (Neural architecture Recherche avec l'apprentissage par renforcement). Auteur: Barret Zoph, V. Le Quôc, IPSC (2017)
6. calculs théoriques peuvent remplacer les paramètres de recherche à l'échelle ultra-large?
La précision de la représentation des couleurs formation réseau de neurones, afin d'augmenter le noir (aléatoire) au rouge (haute précision). La ligne blanche en pointillé représente une limite théorique entre la formation et le réseau non-formation. Dans ce qui précède. La figure 4 (A) indique l'absence de réseau de décrochage, représenté par les trois taux d'abandon restant a été successivement 0,01, 0,02, 0,06 réseau. Thèse: "diffusion de l'information profonde" (Deep information de propagation). Auteur: Samuel S. Schoenholz, Justin Gilmer, Surya Ganguli, Jascha Sohl-Dickstein, IPSC (2017)
7. renforcer l'effet de formation d'image composite GAN
La figure montre une comparaison de l'AC-GAN GAN commun avec plusieurs autres auteurs ont mis en avant, de gauche à droite est la condition GAN, GAN semi-supervisé, InfoGAN. Thèse: « Conditions faire avec la composition d'image GAN avec classificateur auxiliaire » (image de synthèse conditionnelle avec auxiliaires classificateur GAN). Auteur: Auguste Odena, Christopher Olah et Jonathon Shlens, ICML (2017)
8. Le réseau de neurones pour générer les hyper-paramètres à un autre réseau
HyperNetwork généré réseau de poids lourd à un autre réseau. Les auteurs ont utilisé HyperNetwork générer des poids RNN trouvés pour générer des poids non partagés, et pour obtenir des résultats sur le caractère niveau langage de modélisation les plus avancées, la génération de caractères manuscrits et des séries nerveuses de traduction automatique des tâches de modélisation LSTM. La figure montre généré un modèle de texte de HyperLSTM. Bloc de gamme à quatre couleurs est générée en dessous de chaque caractère, représentant les quatre principaux matrice de poids de RNN (respectivement rouge, vert, bleu, jaune indique). Plus la densité, le poids de la plus grande représente la principale variation de poids RNN. Thèse: "super réseau" (HyperNetworks). Auteur: David Ha, Andrew Dai, V. Le Quôc, IPSC (2017)
9. sons de génération de différents instruments de réseau neural
WaveNet a proposé un modèle similaire de l'encodeur, faire ce modèle une gamme d'apprentissage intégré, en insérant des éléments, pour que cela sonne comme le bruit généré émis par différents instruments. La figure montre la structure d'un tel modèle, à partir du code temporel d'apprentissage de la forme d'onde audio d'origine, ajusté le décodeur de l'autorégression. Les auteurs ont également introduit un jeu de données à grande échelle de haute qualité des notes NSynth. Thèse: « WaveNet de la synthèse du codeur de la musique » (Synthèse audio Neural des notes de musique avec WaveNet Autoencoders). Auteur: Jesse Engel, Cinjon Resnick, Adam Roberts, Sander Dieleman, Douglas Eck, Karen Simonyan, Mohammad Norouzi, ICML (2017)
10. L'utilisation de l'étiquette de bruit efficace d'améliorer la précision de la classification
Étude présente une approche à l'utilisation de l'étiquette de bruit. étiquette de bruit sont ceux qui ont beaucoup d'experts donnent une image marque différente de l'étiquette. Les auteurs ont utilisé un réseau de neurones pour étiqueter chaque expert fournira un ensemble de la production, les poids moyens et apprendre à combiner leurs prédictions. De cette façon, qui sait ce que disent les experts, a une meilleure note les données pour améliorer la précision de la classification. expérience la figure est la gravité de l'étiquette de la rétinopathie diabétique. Thèse: « qui a dit quoi: un seul journalistes standards de modélisation pour améliorer la qualité de la classification » (qui a dit quoi: Modélisation individuelle étiqueteuses Améliore la classification). Auteur: Melody Y. Guan, Varun Gulshan, Andrew M. Dai, Geoffrey Hinton, CVPR Atelier (2017)
Programme Google Brain Stage: Diplômé destination et les nouvelles admissions
Il est rapporté que ce cerveau Google diplômés stage programme, nombreux sont ceux qui quittent le cerveau Google pour travailler à temps plein. D'autres sont entrés Stanford, Berkeley, Cornell, Toronto et d'autres machines haut CMU apprentissage des études de doctorat programme.
Maintenant, la deuxième session du programme de stage est sur le point de commencer. Pendant ce temps, le troisième plan d'inscription ouvert en Septembre. Pour en savoir plus peuvent visiter: g.co/brainresidency
Renseignez-vous sur d'autres travaux, visitez le site: https: //research.google.com/pubs/BrainResidency.html
Cliquez ici pour lire l'original pour voir de nouveaux emplois Ji-won
