AutoML: mod�les d'apprentissage machine sans pilote Design Automation

Cet article est une compilation de technologie blog AI Yanxishe, le titre original:

AutoML: Automatiser la conception de mod�les d'apprentissage de la machine pour la conduite autonome

Auteur | Waymo TeamFollow

Traduction | �trange ciky, Ophria, Xie Xuan xx

Relecture | Jeff Demps examen | sauce poire finale Fan | Wang Li poisson

Lien original:

https://medium.com/waymo/automl-automating-the-design-of-machine-learning-models-for-autonomous-driving-141a5583ec2a

Auteur: Shuyang Cheng et Gabriel Bender *

En Waymo, l'apprentissage de la machine joue un r�le cl� dans presque toutes les parties du syst�me de pilotage automatique. Il permet � la voiture pour voir l'environnement, la perception et la compr�hension du monde, de pr�dire le comportement des autres et d�cider de leur prochain mouvement.

Perception: Notre syst�me utilise une combinaison de r�seaux de neurones pour que nous puissions identifier les donn�es des capteurs du v�hicule pour identifier les objets et de les suivre au fil du temps, afin qu'il puisse comprendre le monde autour d'eux. La construction de ces r�seaux de neurones est souvent une t�che de temps, l'architecture de r�seau de neurones optimis� pour fonctionner sur le pilote automatique pour atteindre la qualit� requise et la vitesse de la voiture est un processus complexe d'affiner nos ing�nieurs pour compl�ter une nouvelle t�che peut �tre prendre des mois.

Maintenant, en collaboration avec une �quipe de chercheurs de Google cerveau AI, nous serons la recherche de pointe dans la pratique, utilis� pour g�n�rer automatiquement le r�seau de neurones. Plus important encore, ces plus ing�nieur r�seau de neurones plus avanc� que la qualit� r�glage fin manuel et plus rapide.

Pour notre technologie de pilote automatique dans les diff�rentes villes et l'environnement, nous avons besoin d'une tr�s grande vitesse pour optimiser notre mod�le d'adaptation � diff�rents sc�narios. AutoML nous permet de le faire efficacement, continuer � fournir un grand nombre de solutions ML.

Etude de transmission: l'architecture, � l'aide existante AutoML

Notre coop�ration a commenc� par une question simple: AutoML peut g�n�rer de haute qualit� et une faible latence du r�seau de neurones pour la voiture?

mesure � qualit� � des r�seaux de neurones pour produire des r�sultats pr�cis. � Delay � permet de mesurer la vitesse du r�seau pour fournir des r�ponses, aussi appel�es � temps d'inf�rence �. Parce que la conduite est une activit� qui nous oblige � utiliser la r�troaction en temps r�el du v�hicule et en tenant compte de la s�curit� de nos syst�mes - nature critique, nos r�seaux de neurones n�cessitent un fonctionnement � faible latence. La plupart peuvent �tre fournis directement dans le r�seau pour ex�cuter notre voiture en moins de 10 millisecondes r�sultat, de nombreux r�seaux qui d�ploient que l'ex�cution sur des milliers de serveurs dans le centre de donn�es plus rapide.

Dans leur article initial AutoML , nos coll�gues Google AI peuvent automatiquement explorer plus de 12000 l'architecture pour r�soudre cette 10-ICRA t�ches de reconnaissance d'image classiques: une petite reconnaissance d'image en tant que 10 cat�gories , comme une voiture, un avion, un chien et ainsi de suite. Dans un article ult�rieur , ils ont trouv� une s�rie de blocs de construction de r�seau de neurones, appel�s unit� NAS, qui construit automatiquement � la main ICRA-10, et pour des t�ches similaires meilleur r�seau. Gr�ce � ce partenariat, nos chercheurs ont d�cid� d'utiliser ces unit�s pour construire automatiquement nouveau mod�le pour les t�ches sp�cifiques du pilote automatique, qui apprendront � migrer vers nos connaissances dans le domaine de 10-ICRA. Notre premi�re exp�rience consiste � utiliser la t�che de segmentation s�mantique: chaque point est identifi� comme les voitures de nuages de points LIDAR, les pi�tons, les arbres.

Un exemple d'une cellule NAS. Cette cellule traite les entr�es des deux couches pr�c�dentes dans un r�seau de neurones.

� cette fin, nos chercheurs ont mis en place un algorithme de recherche automatique utilis� pour explorer des centaines de combinaisons diff�rentes d'unit�s NAS dans la convolution Network Architecture (CNN), la formation des t�ches de segmentation et le mod�le d'�valuation pour notre LiDAR. Lorsque nos ing�nieurs manuellement ces r�seaux affiner, ils ne peuvent explorer un nombre limit� d'architectures, mais en construisant un algorithme de recherche automatique, nous pouvons explorer automatiquement des centaines d'architecture. Nous avons constat� que le mod�le que le pr�c�dent mod�le fabriqu� � la main a deux am�liorations:

Une certaine latence importante dans le cas de qualit� similaire;
Autre masse plus �lev�e dans des d�lais similaires;

Compte tenu de ce succ�s, nous appliquons le m�me algorithme de recherche est appliqu� � deux t�ches suppl�mentaires li�es � la d�tection de la voie du trafic et la localisation de. La technologie d'apprentissage de transfert est �galement applicable � ces t�ches, nous pouvons d�ployer trois nouvelles formations et les r�seaux de neurones am�lior�s dans la voiture.

Recherche de fin: la recherche d'une nouvelle architecture � partir de z�ro

Nous avons encourag� par les r�sultats pr�liminaires, nous avons donc d�cid� de poursuivre la recherche plus large peut fournir de meilleurs r�sultats dans la nouvelle architecture. Ne vous limitez pas � l'unit� NAS a �t� trouv�e, nous pouvons directement consid�rer la structure de ceux qui ont des exigences strictes de retard � consid�rer.

Recherche bout prend habituellement pour explorer manuellement des milliers d'architecture, qui apportera un grand co�t de calcul. D�couvrez une architecture unique n�cessite plusieurs jours de formation dans les centres de donn�es informatiques avec plusieurs cartes GPU, ce qui signifie des milliers de calculs de jour pour rechercher la seule t�che. Au lieu de cela, nous avons con�u une t�che proxy: pour r�duire la t�che de segmentation LiDAR, la t�che peut �tre r�solu en quelques heures.

Une �quipe doit relever le d�fi est de trouver une assez similaire � la t�che fractionn�e d'origine des t�ches d'agent. Avant une bonne corr�lation entre la structure du syst�me de qualit� du syst�me de qualit� pour d�terminer la structure de la t�che avec la t�che d'origine, nous avons essay� plusieurs conception de la t�che de l'agence. Ensuite, nous avons commenc� une recherche similaire au papier AutoML original, mais maintenant dans la t�che de l'agent: une recherche proxy-end. Ceci est la premi�re fois que ce concept aux donn�es lidar.

Agent de recherche-end: explorer des milliers d'architecture au r�tr�cissement des t�ches d'agent, 100 l'architecture Meilleur appliqu�e � la t�che d'origine, la validation et le d�ploiement de la meilleure architecture de voiture.

Nous avons utilis� plusieurs algorithmes de recherche, d�lai et qualit� sont optimis�s, car cette voiture est indispensable. Nous avons observ� diff�rents types d'architecture CNN et utilise une strat�gie de recherche diff�rentes, telles que la recherche al�atoire et l'apprentissage de renforcement, nous pouvons explorer plus de 10.000 types de diff�rentes architectures pour la t�che de l'agent. En utilisant une t�che proxy, il faut du temps � l'ann�e calculate sur un cluster Google TPU a pris seulement deux semaines. Nous avons trouv� mieux que lorsque nous avons NAS de transfert de r�seau cellulaire:

r�seau de neurones ayant le m�me r�sultat de la faible latence et 20-30% en masse.
r�seau de neurones de qualit� sup�rieure, le taux d'erreur � 8-10%, les architectures pr�c�dentes ont le m�me retard.

1) La premi�re figure montre l'architecture d'un ensemble simple de recherche al�atoire trouv� environ 4000 architecture. Chaque point est fait par la formation d'architecture et d'�valuation. La ligne solide �tiquet�e architecture optimale � un raisonnement diff�rent de contrainte de temps. Les points rouges et les performances de transmission au moyen d'un r�seau de retard construits de l'apprentissage. Dans cette recherche al�atoire, le r�seau est pr�f�rable de transf�rer un meilleur r�seau d'apprentissage.

2) Dans le second diagramme, jaune, et les points bleus indiquent les r�sultats des deux autres algorithme de recherche. Le jaune est une recherche al�atoire pour un groupe d'architecture raffin�e. Bleu On utilise l'apprentissage par renforcement pr�sent�s dans , comme l'exploration de l'architecture plus de 6000. Les meilleurs r�sultats. Les deux recherche suppl�mentaire a trouv� un r�seau de r�seaux que le transfert de l'apprentissage est beaucoup mieux.

Certaines architectures trouv�es dans la recherche montre la combinaison inventive de convolution, des piscines et le fonctionnement de d�convolution, comme le montre la figure. L'architecture finale est bien adapt�e � nos t�ches de division radar laser original et d�ploy� sur les v�hicules du pilote automatique Waymo.

Agissant architecture r�seau de neurones recherche bout trouv�.

Que Next

Notre voiture d'essai ne fait que commencer. Pour notre t�che division radar laser, agents de transfert et recherche de fin d'apprentissage offre r�seau en main sup�rieure. Nous avons maintenant l'occasion de ces m�canismes appliqu�s aux nouveaux types de t�ches, qui peuvent am�liorer beaucoup d'autres r�seaux de neurones.

Cette �volution ouvre de fa�on nouvelle et passionnante pour notre avenir ML, et am�liorer notre performance technologique autonome et assurer des capacit�s. Nous sommes impatients de poursuivre notre collaboration avec l'intelligence artificielle de Google, alors restez � l'�coute pour plus!

r�f�rence

Barret Zoph et V. Le Qu�c. Structures neurales et recherche apprentissage par renforcement. IPSC, 2017 ans.

Barret Zoph, Vijay Vasudevan, Jonathon Shlens, V. Le Qu�c, l'architecture �volutive de reconnaissance d'images d'apprentissage peuvent �tre transf�r�s. CVPR, 2018 ans.

* Remerciements

La coop�ration entre Waymo et Google est Waymo de Matthieu Devin et Google Qu�c Le initi� et parrain�. Les travaux men�s conjointement par Waymo de Shuyang Cheng et Gabriel Bender Google et Pieter Jan Kindermans. Duoxieweixi � support de p�dicule.

Waymo et Google membres de l'�quipe (de gauche): Gabriel Bender, Shuyang Cheng, Matthieu Devin et Qu�c Le

Je veux continuer � voir les articles liens et r�f�rences connexes?

Cliquez sur [AutoML: mod�les d'apprentissage machine sans pilote automatisation de la conception] ou appuyez longuement sur l'adresse carr�:

https://ai.yanxishe.com/page/TextTranslation/1441

AI Yanxishe a recommand� aujourd'hui: Lei Feng Lei Feng Lei r�seau de r�seau de r�seau Feng

CMU 2018 Automne cours � apprentissage en profondeur � va vous apprendre � apprendre les rudiments des r�seaux de neurones profonds et leurs applications dans de nombreuses t�ches AI. Apr�s la fin du cours, les �tudiants devraient avoir une compr�hension suffisante de l'apprentissage en profondeur et l'apprentissage en profondeur peuvent �tre appliqu�es dans de nombreuses t�ches pratiques.

Joignez-vous � l'�quipe Regarder Free Video: https: //ai.yanxishe.com/page/groupDetail/18