Note de Lei Feng réseau AI Technology Review: Comme nous le savons tous, IPSC 2018 soumission de papier a fermé, qui est actuellement à l'étude. Bien que processus d'examen OpenReview cette session papier IPSC a renoncé à l'identité des deux la divulgation précédente, mais toujours mieux que d'autres réunions « ouvertes » est beaucoup plus: le contenu du papier, ainsi que le processus d'évaluation a recommandé aux lecteurs et réponses écrivains sont visibles.

Le processus d'examen se poursuit, il y a eu récemment un bon examen dans le document est la plate-forme sociale, les chercheurs ont pu obtenir un aperçu. NVIDIA même prendre l'initiative de promouvoir la fourniture d'un document lui-même, Lei Feng réseau AI Technology Review également sur le contenu principal des rapports NVIDIA fait du papier: image haute définition générée par GAN | IPSC 2018.

Ces deux jours ont un merveilleux papiers ont été trouvés à partager, Ian Goodfellow a également donné un avis très sincères et positifs:

Ian Goodfellow: « Bien que GAN une seule catégorie de générer des images réalistes de la déjà fait un excellent travail (par exemple à l'aide d'un des étudiants adultes GAN visage, une autre génération de l'architecture GAN), mais avec un GAN résoudre IMAGEnet dans la classe 1000 a été nous faisons un bon travail. ce contributeurs IPSC à faire à ce sujet ".

Il demande pourquoi apprendre à générer 1000 des classes très difficile, Ian Goodfellow est pas très claire. Plus d'une catégorie, la performance de l'AC-GAN est épouvantable. Le SN-GAN semble résoudre les problèmes.

fond

Le document, intitulé « Spectral Normaliser des générative accusatoire Networks » (spectre de normalisation réseau de génération conflictuel), le point principal est d'améliorer la performance du contrôle discriminateur GAN. En fait, nous avons constaté que la version la plus primitive de cet article est apparu sur l'atelier sur les modèles implicites ICML2017 sur le contenu du document maintenant, il y a eu une augmentation significative et d'améliorer.

En termes simples, GAN ce cadre est de rendre le modèle de données de réseau cible pour imiter la répartition des distributions générées ensemble de données, dans lequel le générateur génère discriminateur de données pour distinguer si les données générées par la distribution de la distribution de données cible. En variante générer le processus de formation et de mise à jour du discriminateur, l'objectif est de réduire la différence entre les données de distribution générées données et de distribution des données, et cette différence est mesurée dans le meilleur discriminateur à chaque tour de la formation obtenue. Des études récentes montrent aussi que la formation discriminateur estimateur rapport de densité GAN équivalent à la formation et de générer une distribution de données donné.

Il y a un problème perpétuel dans la formation GAN, est le contrôle de la performance discriminateur. Dans l'espace de grande dimension, le rapport de la densité du discriminateur souvent des estimations inexactes faites, et la formation est très instable, il est difficile d'apprendre la structure cible de distribution multimodale générateur de réseau. Pire encore, lorsque la distribution des données générées et la zone cible ne pas recoupé, il y a un discriminateur parfait pour distinguer des données générées et les données cibles. Une fois rencontré une telle situation, la formation de ce discriminateur, le générateur de formation sur la stagnation de base, parce que le discriminateur dérivé ainsi produit sur les intrants deviennent nuls. Cette situation permet aux auteurs de réfléchir à la façon d'introduire de nouvelles restrictions, formés pour éviter un tel discriminateur.

SN-GAN

Dans cet article, les auteurs proposent une nouvelle méthode de régularisation du poids, connu sous le nom de « normalisation spectrale » (spectre normalisé), on peut stabiliser le processus de formation de réseau discriminateur. Cette méthode de régularisation est la nature des gens comme:

• Seulement besoin d'ajuster un super paramètres constants Lipschitz, mais pensez modèle de performance satisfaisant ne nécessitent pas l'essai répété que celui-ci paramètre

• La mise en uvre est très simple, très peu de temps de calcul supplémentaire

Cette année, trop chaud pendant un certain temps Wasserstein GAN Lipschitz augmentation constante du terme de régularisation proposé pour l'échantillon d'entrée, ce qui limite le discriminateur afin d'améliorer la stabilité de la méthode de formation. Il y a équation de calcul relativement simple basé sur l'entrée positive de la méthode, mais ils ont aussi des problèmes, qui est, sans l'introduction de méthodes heuristiques ne peuvent pas être régularisés dans l'espace extérieur du générateur de l'espace de données et un espace de données donné .

La méthode proposée dans ce document sur la base de WGAN idée, nous proposons une nouvelle approche du problème que le ponceau à résoudre en donnant la valeur spectrale standard de chaque couche de la limite d'augmentation tangible du réseau la pratique du contrôle fonction discriminante Lipschitz constante, le moment de poids normalisé, en même temps avec des compétences, « régularisation de la norme spectrale pour améliorer la généralisation de l'apprentissage en profondeur » proposé d'augmenter le temps de calcul est pas grand-chose. Détails plus algorithme de longueur, s'il vous plaît cliquer sur le lien à la fin de la lecture des documents originaux.

Salimans & Kingma dans « la normalisation du poids: Un reparamétrage simple pour accélérer la formation des réseaux de neurones profonds » dans la méthode normalisée de pondération proposée, il est au détriment de la réduction du nombre de discriminateur fonctionnalités utilisées de sorte que les données générées par la distribution du modèle est plus arbitraire, que nous devons rencontrer les quelques fonctionnalités que vous pouvez tromper le discriminateur, méthode de coupe de poids rencontrer des problèmes similaires. espèrent les auteurs de l'article discriminateur peut utiliser autant que des fonctionnalités possibles dans l'image, afin qu'ils puissent faire la matrice des paramètres de la méthode de normalisation du spectre, autant que possible l'utilisation des différentes fonctions de l'image, tout en respectant 1-Lipschitz locale restrictions. (AI Lei Network Technology Feng avis Note: SN-GAN autant que possible l'utilisation des caractéristiques de l'image, que ce soit Ian Goodfellow veulent aussi savoir qu'il a d'excellentes performances sur les grands ensembles de données une raison importante pour elle)

Méthodes Gulrajani et al « de Gans de Wasserstein assurer une meilleure formation » en liaison avec l'utilisation d'une peine de gradient de la peine WGAN de gradient. Leur approche ne se traduira pas dans la dimension spatiale caractéristique du problème vient de le dire, mais la distribution des données de la génération actuelle est également une faiblesse flagrante dépend fortement. Avec le processus de formation, la distribution spatiale des données générées va changer progressivement, alors cela va conduire à une instabilité du procédé de régularisation. En fait, les auteurs ont également constaté que la sélection expérimentale de taux d'enseignement supérieur conduira à l'instabilité des performances WGAN-GP. méthode standard Spectral les auteurs ont proposé une méthode pour l'espace d'exploitation est une fonction du lot de train affectée de plus petit, même avec un taux élevé d'apprentissage ne sera pas facilement instable. les frais généraux de calcul WGAN-GP devrait être plus élevé.

expérience

Les auteurs basés sur un petit ensemble de données 10-ICRA, STL-10 et de grands ensembles de données des expériences de génération d'images IMAGEnet ont été effectuées sans supervision et des catégories définies score quantitatif utilisé résultat initial et Frechet distance de création (FID).

Le procédé de comparaison de la SN-GAN addition WGAN-GP au mentionné ci-dessus (WGAN avec peine gradient), WN (poids normalisé), il y BN (normalisation par lots), LN (normalisation de la couche), et seuls punition gradient GAN-GP. A-F est le résultat de l'utilisation de différents paramètres de l'ultra-formation, l'apprentissage DEF taux plus élevé.

Les petits ensembles de données résultats

Peut être vu de la figure, SN-GAN a une meilleure robustesse aux différents rythmes d'apprentissage, les meilleurs résultats sont mieux que toutes les autres méthodes.

Si vous êtes de formation aux paramètres optimaux de chaque modèle, la performance de SN-GAN est le meilleur. (STL-10 formé sur le double SN-GAN parce que la convergence est pas si vite)

L'image obtenue peut être vu, l'image SN-GAN généré plus clair, plus riche, et il n'y a pas de problème qui se produit comme l'apprentissage WGAN-GP à un taux élevé.

SN-GAN analyse des performances

La figure suivante montre la valeur du carré du poids unique de chaque méthode de formation pour donner la meilleure performance de la matrice de poids de discriminateur de réseau. La prédiction de ce qui précède, le réseau avec une méthode normalisée de formation de poids, avant 1-5 couches se concentrer uniquement sur quelques-uns de plusieurs composants, dont les couches de la matrice sera plus faible poids dans la capacité de classement. D'autre part, avec un spectre de réseau de formation standardisé dans lequel une matrice de poids de valeur unique des couches de droits sur la distribution est plus large.

Lorsque la cible est une probabilité d'espace de grande dimension incorporé dans les données linéaires de faibles dimensions dans la distribution composite résolue, la couche de rang inférieur est pas forte capacité deviendront particulièrement mortelle. Sortie réseau à faible niveau après seulement quelques transformation non linéaire, ce qui signifie que la plupart du temps, ils comptent plus sur l'espace linéaire. De nombreuses fonctionnalités omis dans la distribution d'entrée dans cet espace, le résultat obtenu est un discriminateur simpliste.

aspect temps à la formation, le temps de formation SN-GAN a augmenté de seulement 10% à 20% de plus que le droit de re-normalisation, encore plus de WGAN-GP plus rapide.

Définition d'une classe basée sur la génération d'image IMAGEnet

Afin de vérifier la méthode proposée est toujours valable concentrée dans les données de grande dimension à grande échelle, les auteurs ont utilisé les catégories de IMAGEnet avec 1000 catégorie GAN formés aux conditions de chaque formation catégorie il y a environ 1300 images sont compressées à 128x128.

Grâce à cette courbe d'apprentissage peut déjà être vu de plusieurs façons, que SN-GAN peuvent être formés avec succès. En termes de production réelle, SN-GAN est le seul capable d'utiliser une seule paire et à générer un discriminateur peut être générée à partir de la méthode de l'ensemble de données de IMAGEnet ayant une bonne qualité d'image. situation effondrement du modèle SN-GAN est aussi beaucoup mieux que les AC-GAN (scores intra MS-SSIM étaient 0,101 et 0,25).

L'image produite est très grande question bien sûr, dans le cadre d'une catégorie d'image de la figure.

Non seulement la clarté de l'image, des couleurs vives, le contenu la plupart du temps est raisonnable, l'image a également des différences considérables, au premier coup d'il coup d'il comme une image réelle mis en place. Ces images générées création score de 21.9. Autrement dit, ces résultats permettent sensation Ian Goodfellow choqué.

conclusion

Cet article propose une méthode pour améliorer la stabilité des GAN de formation standardisée spectrale de l'image résultante que la richesse traditionnelle des poids standardisés plus élevés, a également fait des études antérieures assez même score initial plus élevé. Cette méthode WGAN-GP locale proposé différentes régularisation, il est appliqué aux contraintes globales discriminantes, mais peut également être utilisé conjointement avec d'autres méthodes. Dans les études futures, les auteurs ont l'intention de continuer à déraciner d'un point théorique de différence avec cette méthode, et dans le plus grand, l'algorithme expérimental sur des ensembles de données plus complexes.

Documents Adresse: Revue de IPSC à @OpenReview, y compris une description détaillée de la méthode et la preuve associée

ICML version antérieure de la réalisation de TF: https: //github.com/minhnhat93/tf-SNDCGAN

Lei Feng réseau compilé AI Technology Review. Interprétation des rapports plus académiques, des articles passionnants, s'il vous plaît continuer à prêter attention à nous.