Traducteur | Liu Chang

Source | camp de base de la technologie AI (ID: rgznai100)

l'apprentissage de la machine, a de nombreux aspects ont fait des progrès, y compris la structure du modèle et des méthodes d'optimisation. L'automatisation de ces travaux de recherche (appelé AutoML) ont également des progrès significatifs. Cette progression est principalement concentrée dans l'architecture, les réseaux de neurones réseau de neurones est actuellement principalement sur les repose experts pour concevoir des blocs de construction de la couche complexe (ou espace de recherche) de la même restreint.

Le but de cet article est de démontrer AutoML peut aller plus loin. Aujourd'hui, il est possible d'utiliser uniquement des opérations mathématiques de base comme des blocs de construction, vous pouvez trouver automatiquement les algorithmes d'apprentissage machine complète.

Cet article présente un nouveau cadre pour le prouver, le cadre utilise un espace de recherche plus générale, ce qui peut réduire de manière significative la conception volonté subjective. Malgré le grand espace de recherche, mais la recherche évolutive peut encore être trouvé en utilisant deux couches de rétropropagation formation de réseau de neurones. Ensuite, certaines tâches peuvent transcender ces simples réseaux de neurones. Même si ces réseaux avec les algorithmes d'optimisation supérieurs actuels, tels que le gradient normalisé, poids moyens et ainsi de suite.

De plus, cet algorithme de recherche peut adapter à différents types de tâches: par exemple, lorsque les données disponibles effet rarement similaire se produit lorsque l'abandon. Nous pensons que le zéro a été trouvé le succès initial des algorithmes d'apprentissage machine, il indique une nouvelle directions très prometteur pour la recherche.

introduction

Ces dernières années, les réseaux de neurones sur un grand nombre des principales tâches réalisées d'excellentes performances. La durée et la difficulté de la recherche sur l'apprentissage de la machine a donné naissance à un nouveau champ appelé AutoML du champ afin de calculer le temps passé par une machine plutôt qu'une techniques d'apprentissage machine à temps d'étude humaine de progresser. Ce travail a obtenu des résultats fructueux, mais jusqu'à présent, l'étude dépendaient fortement de l'espace de recherche de la conception humaine. Un exemple courant est la recherche de l'architecture de réseau de neurones, il est une couche complexe conçu par les experts comme un bloc de construction et inverser la propagation des règles pour limiter l'espace de recherche.

De même, d'autres études ont trouvé AutoML l'espace de recherche est limitée à une seule méthode d'algorithme, comme règle d'apprentissage rétropropagation utilisé pendant la structure fermée de LSTM ou augmentation des données, dans ces études, tous les autres algorithmes conception toujours à la main. Cette méthode permet d'économiser du temps de calcul, mais a deux inconvénients. Tout d'abord, la conception des structures humaines bloque les résultats de la recherche biaisée en faveur de la conception de l'algorithme créé par l'homme, ce qui peut réduire la capacité d'innover AutoML. Moins d'options limitent également l'innovation, car ils ne peuvent pas trouver le contenu ne peut être recherchée. En second lieu, le besoin d'espace de recherche limité à combiner avec soin pour apporter de nouvelles charges aux chercheurs, et contrairement aux objectifs de la soi-disant humanité de gagner du temps.

Pour résoudre ce problème, nous proposons une méthode en utilisant seulement un petit nombre de restrictions et le module mathématique simple recherche automatiquement tous les algorithmes d'apprentissage machine. Nous nous référons à cette méthode est appelée AutoML-Zero, son but est de participer à l'apprentissage humain minimal.

En d'autres termes, le modèle AutoML-Zero est conçu pour rechercher simultanément le processus d'optimisation à grains fins de l'espace, l'initialisation et d'autres opérations, réduisant ainsi la charge de travail de conception manuelle, il se trouve même algorithme de réseau non neurones. Pour prouver qu'il est possible maintenant, ce document présente une solution préliminaire à ce défi.

Polyvalence il algorithme de recherche de l'espace de recherche AutoML-Zero est plus difficile que l'espace AutoML classique correspondant. Espace de recherche existant AutoML a été construit dense et une bonne solution, ainsi désaccentuant le processus de recherche lui-même. Par exemple, sur la même comparaison de l'espace de recherche, la technologie de pointe est généralement un peu mieux que la simple recherche aléatoire (RS).

Le AutoML-Zero est différent: Étant donné que l'espace de recherche est plus large, de sorte que le résultat final est devenu très rare. Notre cadre proposé comprendra des algorithmes d'apprentissage automatique exprimés en fonction des trois composantes d'un programme informatique, ces fonctions peut être prédite et un échantillon d'apprentissage. Les fonctions de ces instructions transmettre la mémoire arithmétique de base. Fonctionnement et l'utilisation de l'adresse de mémoire de chaque instruction sont des paramètres libres dans l'espace de recherche, la taille des fonctions composant ainsi.

Dans l'ensemble, la contribution de cet article est:

• AutoML-Zero, avec un minimum d'intervention humaine, depuis le début ML algorithme de recherche automatique;

• En collaboration avec la source et que des opérations mathématiques de base nouvel espace de recherche d'image;

• Les résultats expérimentaux montrent en détail la possibilité d'utiliser l'algorithme de recherche évolutive trouver algorithme ML.

Adresse Code:

https://github.com/google-research/google-research/tree/master/automl_zero#automl-zero

méthode

AutoML nulle en termes de méthodes peut être divisé en deux parties, l'une est l'espace de recherche, et la deuxième méthode de recherche.

L'espace de recherche

L'algorithme d'auteur est exprimé sous la forme d'un programme informatique sur une plus petite uvres de mémoire virtuelle, qui ont l'espace d'adressage de la mémoire virtuelle séparée pour les variables scalaires, vectorielles et matricielles. Tous ces éléments sont flottaient et la carte de fonction de la dimension d'entrée de tâche partagée.

Au programme est représenté comme une série d'instructions. Chaque instruction a une opération de détermination de sa fonction, afin d'éviter les biais dans l'opération de sélection, cet article utilise un critère simple: nécessaire pour déterminer un niveau élevé d'apprentissage. Auteur exclut délibérément le concept d'apprentissage machine, matrice factorisation et ses dérivés.

Inspiré par le travail de l'apprentissage supervisé, l'auteur indique que l'algorithme de programme ayant trois fonctions composants, Configuration / Prédire / En savoir. Comme indiqué ci-dessous:

l'évolution des fonctions figure réalisée à l'aide de l'explication ci-dessus. Dans la figure suivante, deux cycles mis en uvre pour la phase de formation et de validation, pour simplifier, un échantillon traité une fois. la mise en uvre alternative de la phase de formation « prédire » et « apprentissage ».

Méthodes de recherche

Rechercher les expériences doivent être trouvées dans l'algorithme d'apprentissage automatique en modifiant les fonctions des composants dans la commande. Tel qu'il est utilisé ici, la régularisation méthode de recherche évolutive, car il est très simple, et a récemment obtenu de bons résultats en termes d'architecture de recherche. Ce procédé tel que représenté sur la Fig.

La descendance mutante qui produit par le parent doit être adapté à l'espace de recherche; utilisé ici, le choisis au hasard trois types d'actions: (i) une position aléatoire dans l'insert une composante aléatoire dans l'instruction de fonction ou de l'instruction de suppression, (ii) les composants tous fonction de commande aléatoire, ou (iii) par l'un des paramètres à une instruction de sélection aléatoire pour modifier instruction. Comme le montre la figure.

expérience

Dans la section expérimentale suivante, cet article sera de répondre aux trois questions suivantes: « Rechercher l'espace AutoML-Zero Comment difficile », « Peut être utilisé ici cadre avec la saisie manuelle minimale pour trouver un algorithme raisonnable faire? », Et « vous pouvez trouver différents types d'algorithmes de recherche en changeant la tâche utilisée dans le do d'expérience? »

1, regard pour le réseau de neurones simple dans l'espace de recherche

La figure ci-dessous résume les résultats de quatre types de tâches: trouver un algorithme complet / méthodes d'apprentissage uniquement les données linéaires / retour affines. espace de recherche AutoML-Zero est une commune, mais cela a un coût: même pour des tâches simples, un bon algorithme est clairsemée. Comme la tâche devient plus difficile, les solutions deviennent de plus en plus rares, et sa performance est bien meilleure que RS.

2, une recherche avec entrée humaine minimale

Nous avons trouvé en recherchant une régression linéaire avec un réseau de neurones propagation de retour à deux couches, ou plus encore que la complexité de conception manuelle comparable à l'algorithme de base. La figure ci-dessus montre un exemple de nos expériences, nous pouvons voir comment l'algorithme évolutif est une étape par étape pour résoudre des tâches de classification binaire. Tout d'abord, un modèle linéaire, sans aucune méthode d'optimisation, puis peu à peu trouvé SGD optimisée, suivi par l'addition d'un taux d'apprentissage départ aléatoire, puis en outre trouvé des fonctions d'activation RELU, les poids initialisés de façon aléatoire, le gradient normalisé, etc., et plus optimisation de la structure réseau de proximité et manuel de conception.

3, a trouvé algorithme universel

Dans cette section, les auteurs ont proposé méthode pour démontrer l'applicabilité plus large en recherchant trois types de tâches différentes. Chaque type de tâche aura ses propres défis (tels que « peu de données »). Nous allons montrer le processus de l'algorithme d'adaptation évolutive pour faire face aux défis. Étant donné que nous devons commencer à partir de zéro pour obtenir un modèle raisonnable, maintenant seulement besoin d'utiliser une population initiale de réseau de neurones efficace à la figure ci-dessous, qui peut gagner du temps.

résumé

Dans cet article, l'auteur est AutoML a proposé un objectif ambitieux: trouver automatiquement l'ensemble algorithme ML des opérations de base, en réduisant les préférences dans l'espace de recherche pour amener les gens espèrent que cela finira par générer du nouveau contenu ML.

Cet article représente un cadre potentiel nouvelles constructions de l'algorithme ML de cette étude pour prouver direction, l'algorithme représenté par un algorithme de programme informatique ML trois fonctions des composants (Configuration, Prédire, savoir) de celui-ci. Point de départ d'un flan de fonctions utilisant uniquement des composants opérations mathématiques de base, l'algorithme progressivement évolué à partir de la régression linéaire, des réseaux de neurones, une descente de gradient, moyenne pondérée, gradient normalisé. Ces résultats montrent que l'algorithme est très prometteur, mais il reste encore beaucoup à faire.

Documents Adresse:

https://arxiv.org/abs/2003.03384

PDG de Microsoft Satir · Nadella: Ne pas recréer la roue, la technologie mise à niveau et de forte densité

GitHub a joué 10000 +, projet de haut niveau Apache ShardingSphere de The Open Road

HKUST Académicien interrogation future Zheng Guangting, a révélé les dernières applications et la pratique de l'intelligence artificielle

intelligents d'exploitation et d'entretien des défis en grande promotion: comment Ali résista les « doubles 11 chats fin »?

Ethernet Place 2.0 Jeu de garde et mettre en uvre MPC

très difficile pour vous d'écrire neuf questions face de MySQL, nous vous recommandons de la collection!