Auteur: Pen
[New Ji-won EXAMEN Aujourd'hui, le site officiel a annoncé IPSC le meilleur article IPSC 2018, un total de trois. Ces documents continuent à discuter après avoir été la réception de l'IPSC, y compris la nouvelle variante proposée de l'algorithme Adam, traitent de la question de l'image sphérique de CNN, le cadre d'apprentissage pour apprendre l'adaptation continue et ainsi de suite. Ce document apporte une interprétation détaillée.
[Répondre] IPSC meilleur papier Ji-won nouvelle page de dialogue micro-canal, télécharger 3 ICLR 2018 meilleur papier.
Discussion sur la convergence de l'algorithme et sa méthode améliorée d'Adam
Une méthode d'optimisation stochastique récemment proposée a été appliquée avec succès aux tâches de formation du réseau de neurones, comme RMSPROP, ADAM, ADADELTA, NADAM et ainsi de suite. Ces méthodes sont basées sur une mise à jour de l'algorithme de gradient, lors d'une mise à jour, l'utilisation de la moyenne mobile exponentielle de la racine carrée de la place du gradient de l'histoire du zoom. Selon l'observation que dans de nombreuses applications, telles que l'espace de sortie est relativement large, ces algorithmes ne peuvent pas converger vers la solution optimale, ou un point critique dans les problèmes non convexes. Il est prouvé que la cause de l'échec de la convergence est que l'algorithme utilise des moyennes mobiles exponentielles. Cet article a cité un exemple simple de prouver que même un simple problème d'optimisation convexe, Adam ne peut converger vers la solution optimale, et décrit les principaux problèmes dans le passé, l'analyse Adam des algorithmes existent dans le texte. L'analyse montre En combinant ces algorithmes et gradient historique de « la mémoire à long terme », il peut résoudre les problèmes de convergence, et une nouvelle variante de l'algorithme Adam ne peut pas seulement résoudre le problème des bracelets, des performances de l'expérience peuvent ligne de laminage.
La contribution de cette étude:
Par un simple problème d'optimisation convexe PRÉSENTÉES et Adam utilisé TMSprop Déménagement exponentielle Comment est la tête moyenne à la convergence. Et l'analyse de texte peut être étendu à la méthode que Adadelta et NADAM une autre mobile exponentielle jeu moyen.
Afin d'assurer la convergence de l'algorithme, tel qu'il est utilisé ici gradient historique de la « mémoire à long terme. » A propos de Adam et a souligné la convergence de la preuve de l'existence dans le passé, le papier et Kingma problème Ba (2015). Pour résoudre ce problème, cet article propose une variante de l'algorithme Adam, l'algorithme dans le cas de l'histoire gradient de « la mémoire à long terme », et n'a pas augmenté la complexité temporelle de l'algorithme et de la complexité de l'espace. De plus, l'analyse est également donné algorithme la convergence d'Adam Kingma et Ba (2015).
Les expériences montrent que l'algorithme fournit une variante d'Adam, les résultats montrent, Dans certains des problèmes communs en matière d'apprentissage de la machine, variante de la performance de cet algorithme est similaire ou mieux que l'algorithme original.
Les résultats:
Comme représenté sur la. Figure 1, dans un simple problème de convexe à une dimension, Adam et comparer la performance de AdamSRAD, inspirée de la non-convergence. La figure deux réglage de première ligne pour le dernier est réglé pour aléatoire.
Figure 1
, Dans la régression logistique, la comparaison des performances Adam précompensation réseau de neurones et AMSGRAD CIFARNET et 2 sur la figure. La rangée supérieure montre la ADAM et AMSGRAD dans la régression logistique (panneau avant deux) et les performances des réseaux de neurones feedforward (droit) = 1 dans la couche cachée. Dans la rangée du bas, les deux chiffres compare la formation Adam et arabes AMSGRAD et d'essais, et sur la base CIFARNET ont été comparés.
Figure 2
réseau de neurones à convolution sphérique (Spherical CNNs)
réseau de neurones convolutionnel (CNN) peut être une bonne affaire d'images en deux dimensions. Cependant, l'image sphérique traitement demande croissante. Par exemple, les véhicules aériens sans pilote, des robots, des véhicules autonomes, régression moléculaire, des modèles météorologiques et climatiques mondiaux, la gamme complète des problèmes de traitement visuel. Le plan de projection sphérique tel qu'une entrée de signal d'approche naïve convolutif réseau de neurones est vouée à l'échec, comme représenté sur la Fig. 1, la distorsion spatiale causée par une telle projection conduit à CNN poids ne peut pas être partagée.
Figure 1
Cet article décrit comment construire des modules sphériques CNN. Nous avons proposé l'opération par Fourier généralisée (FFT) groupe de convolution rapide (corrélation croisée) de. CNN schématique sphérique être réalisée par une transformée de Fourier de la manière suivante:
Les résultats:
modèle de formation officiel utilisé ici des indicateurs pour évaluer les propositions et par rapport aux trois précédents meilleurs modèles de chaque catégorie, et les résultats sont présentés dans le tableau 1. En plus de précision et F1 @ N, il est classé troisième modèle proposé, il est dans une position de leader sur chacun des autres indicateurs. Le principal concurrent, Tatsuma_ReBGG et Furuya_DLAN utilisation des fonctionnalités et l'architecture de réseau conçu spécifiquement pour tâche SHREC17. Compte tenu du modèle d'architecture d'entrée et lossy le modèle de tâche proposée dans cet article utilisé agnostique, a déclaré la performance de modèle peut être interprété comme un fort soutien empirique pour l'efficacité de la sphère CNN.
Tableau 1
2. RMSE comme un indicateur, la méthode proposée par rapport à d'autres méthodes, comme le montre le tableau 2. Comme on peut le voir dans le tableau, l'algorithme proposé est supérieur à toutes les méthodes à base de noyau et de l'algorithme de formation MLP dans la matrice sur le Coulomb de tri. Seul MLP peut être basée sur la formation de Coulomb matrice aléatoire pour obtenir de meilleurs résultats. Cependant, l'échantillon complet de disposées de façon aléatoire que N croît de façon exponentielle, de sorte que cette méthode est peu susceptible d'être étendue sur une grande données.
Tableau 2
conclusion
Cet article décrit la CNN sphérique, et l'évaluation de l'algorithme proposé sur deux problèmes d'apprentissage importants. En outre, le document définit S2 et SO (3) de corrélation croisée, et l'analyse de leurs propriétés, de manière à réaliser un algorithme de corrélation générique RRT. Les résultats des expériences numériques ont confirmé la stabilité et la précision de l'algorithme est toujours valable même dans la profondeur du réseau. De plus, nous avons démontré sans la nécessité d'exigences supérieures élevées sur les caractéristiques et les cas de transfert de modèle, CNN sphérique peut être efficacement étendu à toute la rotation, et se rapprocher de la plus avancée identification du modèle en trois dimensions et aspects moléculaires de rendement énergétique résultats.
Semblable identification du modèle 3D tels des tâches en trois dimensions, nous pensons que peut être étendu à roto groupe SO3 traduction SE3 pour obtenir de nouvelles améliorations. Le développement de CNN est sphérique une première étape importante dans cette direction. Peut-être, ce scénario d'application importants sphériques CNN pour faire face à toute la gamme des problèmes de vision. Bien que dans les bases de données publiques, les données d'image omnidirectionnelle est très faible, mais Dans les drones, des robots et des véhicules autonomes, la popularité de la gamme complète du capteur pour faire ce travail revêt une importance particulière.
Une adaptation continue par l'apprentissage de yuans dans un environnement fixe et non compétitif
Capacité d'apprendre et d'adapter à l'expérience limitée dans des environnements non stationnaires est une étape importante menant à une véritable ordinateur intelligence artificielle. Cet article présente Une adaptation continue « apprendre à apprendre » cadre . En concevant un élément d'algorithme d'apprentissage basé gradient à adapter aux changements dynamiques et scénario contradictoire. En outre, le document a également conçu l'environnement concurrentiel basé sur multi-agents (multi-agents) de: RoboSumo et définit la capacité d'adaptation d'itérations jeu pour une performance soutenue à adapter aux différents aspects du système de test. Les expériences montrent qu'un yuan plus fort que l'étude de base de la capacité d'adaptation de la réaction en état quelques-shot et adapté pour réaliser l'apprentissage et de la concurrence multi-agents.
Trois modèles utilisés dans les expériences que l'agent (agent), la figure 1. (A) FIG. Ils diffèrent anatomiquement: nombre de jambes, la position, et les restrictions à la cuisse et au genou. La figure 1 (b) indique un environnement de mouvement non stationnaire. Le couple appliqué à la jambe par une couleur rouge changement dynamique Le facteur décisif. (C) est utilisé pour indiquer l'environnement concurrentiel RoboSumo.
Figure 1
Les résultats:
La figure suivante montre un processus itératif contiennent plus de tours pour adapter au jeu, un agent avec ses rivaux. Si elle gagne plus de manches dans un tour (utilisez la couleur pour indiquer la victoire ou la défaite), il a gagné une victoire. agent et leurs adversaires peuvent changer leur tactique en permanence.
Figure 2
2. Dans l'itération du jeu, le nombre de tours et les résultats présentés dans le. La figure 3 pour étudier l'adversaire peut être vu sur la figure, lorsque le nombre d'itérations de chacun plus de 50 fois par l'adaptation de la technologie à la piste devient le problème de « l'apprentissage tout en testant », en plus, il peut rivaliser avec une formation quand les adversaires ont jamais vu auparavant. Dans les quelques coups et un deux systèmes d'apprentissage standard sont presque identiques yuans apprendre les résultats des stratégies d'adaptation. Ceci suggère que les stratégies de méta-apprentissage en formation peuvent apprendre un type particulier de biais, pour lui permettre d'obtenir de meilleurs résultats d'une expérience limitée, mais elle limite aussi la possibilité d'utiliser plus de données.
Figure 3
[] Joignez-vous à la communauté
Ji-won nouvelles technologies AI + industrie du recrutement communautaire, a accueilli les étudiants + industrie de la technologie AI a atterri intérêt, plus Little Helper Micro Signal: aiera2015_1 dans le groupe, si elle est approuvée seront invités dans le groupe, assurez-vous de modifier le groupe après avoir rejoint la communauté remarques (nom - société - emploi, groupe professionnel d'examen plus rigoureux, s'il vous plaît comprendre).
