Note de l'éditeur: IPSC 2019 a eu lieu du 6 au 9 mai à la Nouvelle-Orléans, cette contribution a augmenté de près de 60 pour cent l'an dernier, a reçu un total de 1591, le taux d'admission était de 31,7%. Microsoft Document de recherche par l'Institut de coopération avec l'Université de Montréal MILA de « Ordonné Neurones: L'intégration de structures arborescentes dans les réseaux récurrents Neural » a remporté le prix du meilleur article. 6 Document de Microsoft Research Asia, a été nommé à ce IPSC, couvrant l'apprentissage dual multi-agents, caractérisant la dégradation du modèle de génération de langage naturel de la formation, la machine distillation nerveuse en plusieurs langues du savoir traduction, multi-reconstruction de la vue de la scène en trois dimensions et ainsi de suite. Cet article présentera ces travaux, les lecteurs intéressés peuvent télécharger le document, « lire l'original » dans.

Diagnostic et renforcer le modèle VAE

Améliorer le diagnostic et les modèles de VAE

Bin Dai, David Wipf

Adresse Papers: https: id = //openreview.net/forum B1e0X3C9tQ?

Variation du codeur (VAE) est l'un des modèles les plus populaires pour générer, mais la qualité qui en résulte est relativement faible, l'encodeur et le décodeur hypothèse gaussienne est généralement considéré comme l'une des causes de la mauvaise qualité qu'elle engendre. Dans ce travail, nous avons analysé soigneusement la nature de la fonction objectif VAE obtenir les conclusions suivantes:

• hypothèse gaussienne VAE du codeur et le décodeur n'affecte pas la solution globale optimale, une autre forme plus complexe et ne peut pas obtenir une meilleure solution globale optimale;

• Dans le cas à la solution globale optimale, VAE ne simulent pas nécessairement la distribution de probabilité des données de formation. Plus précisément, lorsque les données se trouve dans le collecteur dimension (r) qui est égal à la dimension de l'espace ambiant (d), VAE solution global optimal peut être obtenu de la distribution de probabilité des données d'entraînement. Mais quand r est inférieur à d, VAE solution globale de optimale ne peut être obtenue et la distribution de probabilité des données de formation.

Compte tenu de l'ensemble de données actuel est lié à l'espace ambiant collecteur de faible dimension, à savoir r < d, de sorte qu'il n'y a aucune espèce de capacité à apprendre VAE la distribution réelle des données, quelle que soit la forme particulière que le codeur, le décodeur.

Néanmoins, on peut obtenir le cas général la nature des solutions optimales globales VAE, y compris:

• VAE peut apprendre le flux de données graphiques est situé, soit des données d'un collecteur par après VAE sont la reconstruction parfaite;

• Si VAE dimensions spatiales cachées de suffisamment (k), qui est, k > r, r de VAE utilisera les dimensions spatiales implicites pour adapter le flux de données de forme, le remplissage du bruit gaussien avec un k-r-type reste d'autres dimensions.

Alors que la VAE peut être apprise en forme de flux de données, la distribution et le véritable collecteur de distribution spécifique qui est différent appris. VAE peut être bien reflétée dans la reconstruction des données de formation dans l'expérience, mais génère pas bien nouvel échantillon.

Selon la théorie ci-dessus, nous vous proposons une VAE en deux étapes: nous avons d'abord apprendre la position du collecteur VAE, avec un deuxième VAE pour apprendre le collecteur de distribution spécifique. Plus précisément, une première donnée de formation en VAE une distribution spatiale implicite, la distribution n'est pas occuper tout l'espace collecteurs implicites dans l'espace de faible dimension est caché. Nous avons l'habitude d'apprendre une seconde distribution VAE dans l'espace de Caïn, parce que les variables cachées occupent l'ensemble de dimensions spatiales cachée, donc selon notre théorie, VAE peut apprendre une seconde distribution dans le premier espace caché VAE.

Deux étapes VAE augmente considérablement la formation de VAE effet général, la première fois la qualité (sur l'indice FID) peut générer des résultats et GAN comparables. Nous avons également vérifié expérimentalement. Double étape Code VAE est disponible sur GitHub: https: //github.com/daib13/TwoStageVAE

DPSNet: réseau balayage plan de profondeur d'extrémité

DPSNet: de bout en bout profond avion balayage stéréo

Sunghoon Im, Hae-Gon Jeon, Stephen Lin, En Kweon

Adresse Papers: https: id = //openreview.net/forum ryeYHi0ctQ?

Multivues reconstruction en trois dimensions (stéréo multi-vues) est un problème classique en vision par ordinateur, a une position très importante, a une valeur élevée dans la cartographie en trois dimensions, la modélisation objet, et la navigation du pilote automatique et d'autres domaines. Bien que la profondeur de convolution basée sur les réseaux de neurones a démontré un certain potentiel sur cette question, mais dans la façon de concevoir l'architecture de réseau de neurones pour multivision des problèmes de reconstruction en trois dimensions, il y a encore beaucoup de place à l'amélioration.

Pour résoudre ce problème, nous proposons un nouveau plan de profondeur pour analyser l'architecture réseau (DPSNet), informations détaillées pour la reconstruction de la scène de la séquence d'images multi-vues. Par algorithme de reconstruction sur la base des informations de profondeur géométrique d'inspiration traditionnelle, idée DSPNet d'utiliser un avion pour analyser la modélisation de la profondeur de la scène. Ce processus comprend les trois étapes suivantes:

(1) extraire des caractéristiques à partir de l'image de profondeur à vues multiples multi-échelle et le coût de construction d'un algorithme de balayage de plan voxel de scène en trois dimensions. Le coût de la construction d'un voxel en trois dimensions avec la scène en trois dimensions exprimées à différents image pixel du point de vue de similitude locale.

(2) correspond à l'estimation sur la base de l'information de relation de cadre de la polymérisation en trois dimensions du coût et de débruitage corrigées voxel, afin d'obtenir un multi-angle plus précis.

(3) le coût de trois dimensions estimation de régression de voxel de la profondeur de scène, afin de générer le résultat final.

Les résultats expérimentaux montrent que, sans respect DSPNet région matériel et une zone limite de scène uniforme des objets différents peuvent obtenir une meilleure reconstruction de la scène sous différents types ont obtenu des résultats optimaux de reconstruction en cours de profondeur de scène.

Les réseaux de neurones sont méthode évolutive d'algorithme du gradient stochastique RELU dans le même espace

g-SGD: Optimizing Relu Neural Networks dans son Positivement échelle invariante Espace

Qi Meng, Shuxin Zheng, Zhang Huishuai, Wei Chen, Ye Qiwei, Zhi-Ming Ma, Nenghai Yu, Tie-Yan Liu

Adresse Papers: https: id = //openreview.net/forum SyxfEn09Y7?

RELU réseau neuronal positif ayant une invariance télescopique, à savoir un noeud caché est multiplié par tous les côtés en C constante positive, et tous les côtés divisé par une constante positive C, la valeur de sortie du réseau de neurones RELU inchangé. Cependant, l'espace des paramètres RELU réseau de neurones est pas constante positive étirage, ce qui rend invariance télescopique ne dispose pas d'un algorithme d'optimisation espace des paramètres positifs réseau de neurones, ce qui peut conduire à une optimisation du paramètre d'échelle est sensible. Donc, une question naturelle est: s'il existe un réseau de neurones peut exprimer pleinement même espace télescopique Relu positif? A travers l'étude des chemins de réseau de neurones que nous avons trouvé des réseaux de neurones Relu est le même espace télescopique: espace g-, optimisation de la conception algorithme g-SGD dans l'espace g-.

Ce qui suit décrit le premier réseau neuronal un trajet (trajet). Le réseau de neurones RELU considéré comme un graphe acyclique orienté, un chemin p est le noeud d'entrée à un noeud de sortie de la voie, la valeur du chemin V (p) est définie comme étant le paramètre de produit qui passe. Relu sortie k dimensions réseau de neurones peut être exprimé sous la forme:

Dans lequel P_ (i k) désigne la i-ième entrée connectée à un ensemble de sections et de tous les chemins k-ième noeud de sortie; a_p (w; x) la valeur 1 ou 0, ce qui représente la valeur de la voie est activée par un empilement si la fonction dans l'effet de sortie. Pour exprimer les réseaux de neurones, nous allons tout réseau de neurones est un ensemble de mise à l'échelle notée g, la valeur du chemin est la valeur de l'avantage est le chemin positif d'étirage inchangé, qui est,

Par conséquent, la valeur du chemin de l'espace composé Peut-être que nous sommes à la recherche d'un espace d'étirement constant positif.

Cependant, tout le réseau de neurones est associé à une valeur de trajet (ci-dessous), ce qui signifie que la valeur de tous les chemins ne peut pas être optimisée en tant que variables indépendantes. Pour trouver un groupe de chemins non reliés, nous utilisons le chemin de vecteur d'expression:

Dans lequel p_ j ^ i valeur 1 ou 0, respectivement, par l'intermédiaire du paramètre de chemin si p ^ i j W_. Tout chemin de matrice structure de matrice ici vecteur est appelé réseau de neurones, dénommé A. Nous chemin base est défini comme suit.

La valeur du chemin v (p ^ ij) correspondant w_iw_j, le chemin entre reliés entre eux, par exemple, v (p ^ 24) = (v (p ^ 14) v (p ^ 23)) / v (p ^ 13 ). Une matrice correspondant à la matrice de la structure du réseau.

Définition 1 (groupe de trajet): Si le jeu de chemin

Une matrice est une structure linéaire grandement indépendamment groupe, l'ensemble du groupe de chemins est appelé P_0.

L'algèbre peut être connue, la valeur du groupe est indépendant du chemin, et la valeur de l'autre voie peut être obtenue à partir des valeurs du trajet de base par multiplication et division calculs (ci-dessus). Par état actif a_p (w; x) l'analyse, nous avons le théorème suivant.

Théorème 1: 'RELU deux réseaux de neurones, w ~' gw paramètre donné w et w la condition nécessaire et suffisante pP_0, il V_P (w) = V_P (w « ).

D'après le théorème 1 peut être obtenue, la valeur de la trajectoire de base pour exprimer entièrement RELU un réseau de neurones, et la valeur est télescopique positive constante de trajectoire de base. Par conséquent, nous allons baser la valeur de la configuration spatiale de la trajectoire est définie comme l'espace RELU G- réseau de neurones.

La définition de 1 (espace G-): définition de l'espace G- Relu réseau de neurones est

Ensuite, l'algorithme d'optimisation de l'espace de conception Relu G- réseau de neurones: G-SGD. G-objectif SGD est d'optimiser la valeur de la fonction de perte de trajet base du paramètre

Cependant, le calcul direct de la perte d'un dérivé de la fonction de la valeur du chemin de base est difficile d'obtenir efficacement le chemin de base du dérivé, la conception de la méthode inverse à chaîne règle, l'utilisation de la relation entre le paramètre w et le chemin de base v pour obtenir v dérivé. g-SGD écoulement de l'algorithme tel que représenté sur la Fig.

RELU pour un réseau de neurones, ce document, le procédé de conception du squelette (Méthode squelette) pour trouver le chemin à travers le groupe de réseaux. Ensuite, l'algorithme g-SGD itérativement mis à jour en fonction de la valeur du chemin de réseau basé sur quatre étapes:

Dérivé de (1) à la propagation de réseau neuronal (BP) pour obtenir le paramètre initial w;

(2) Méthode Inverse-Chain-règle en utilisant la dérivée de la valeur w calculée dérivée groupe de trajets de v;

(3) en utilisant la méthode de la dérivée de descente v met à jour la valeur de v en fonction du gradient stochastique;

(4) Afin de procédé à une BP, il est nécessaire de mettre à jour la valeur de base est projetée sur le paramètre de chemin w, le procédé de projection appelée Poids-Allocation Méthode. Il convient de noter que la complexité des calculs et des méthodes BP algorithme g-SGD est du même ordre.

algorithme organigramme G-SGD

Enfin, la validité de l'algorithme G-SGD sur la tâche de classification d'image. L'expérience modèle, la profondeur PlainNet-34 réseau neuronal convolutif et le réseau neuronal résiduel profond ResNet-34, l'ensemble de données est ICRA-10 et ICRA-100. Le tableau suivant présente les erreurs de mesure et l'algorithme SGD G-SGD algorithme. Les résultats ont montré que, G-SGD SGD algorithme par rapport à l'algorithme de test inférieur peut être atteint erreur, ce qui reflète les avantages de l'optimisation de l'espace G-.

Les résultats (ICRA-10)

Multi-agents d'apprentissage double

Multi-Agent double apprentissage

Wang Yiren, Yingce Xia, Tianyu He, Fei Tian, Tao Qin, chengxiang Zhai, Tie-Yan Liu

Adresse Papers: https: id = //openreview.net/forum HyGhN2A5tm?

La symétrie est répandue dans la tâche AI, par exemple, la traduction automatique en anglais - traduction allemande et allemand - symétrie de traduction, une traduction de l'image dans la conversion photo à la peinture à l'huile, la conversion peinture à l'huile à la photo de symétrie, voix-texte traitement de la parole (reconnaissance vocale), et le texte à la symétrie de la parole (synthèse vocale). Sur la base de cette fonctionnalité, Institut de recherche Microsoft Asie du groupe Machine Learning NIPS 2016 a proposé un nouveau paradigme d'apprentissage - L'apprentissage dual a été largement utilisé dans de nombreux domaines de la traduction automatique, la traduction de l'image, quiz.

L'idée de base de l'apprentissage double, en utilisant la propriété de symétrie de la tâche (primal-dual), une rétroaction efficace / régularisation, améliorant ainsi le processus d'apprentissage de deux espace de tâches symétriques. Jeu classique d'apprentissage double doit être compris que deux agents (Agent): La tâche d'origine est un agent d'apprentissage (tâche prima) f: X Y, un autre agent d'apprentissage double tâche (double tâche) g: Y X. Dans l'étude double, nous avons d'abord xX par un premier agent vers la carte f y = f (x) Y, puis utiliser le second agent est reconstitué g x = g (y) X. La distorsion entre x et x _x (x, x) en tant que signal de rétroaction au guide d'aide et de renforcer le processus d'apprentissage.

Dans cet agent dual de système, l'agent deux f et g de chaque évaluation est requise. Plus précisément, les besoins en agent à évaluer inverse g généré par l'agent avant f y = f (x), et fournit un signal de rétroaction _x (x, g (y)) est un agent positif, et vice-versa . Dans ce processus, évaluer la qualité de l'agent est très important pour guider le processus d'apprentissage. Sur la base de notre cadre d'apprentissage double existant, l'introduction de l'interaction multi-agents dans le système d'apprentissage. Entre la même tâche sur la direction de l'agent, il y a une capacité de modèle similaire et une bonne diversité, leur interaction peut fournir un signal de rétroaction plus fiable et robuste pour le processus d'apprentissage, pour aider le système pour une meilleure performance.

Nous nous référons à cette méthode est appelée apprentissage dual multi-agents (Multi-Agent double apprentissage, en abrégé MADL).

cadre MADL

Envisager la création entre les deux espaces X et Y de la double mission, notre objectif ultime est d'apprendre deux agents, l'apprentissage f_0 tâche d'origine: X Y, et l'apprentissage g_0 double tâche: Y X. L'apprentissage traditionnel double pour optimiser la fonction de perte:

Dans le cadre de l'apprentissage dual multi-agent, on introduit la pluralité d'agent f_i: X Y, g_i: Y X, (i = 1,2, ... N-1), dans lequel chaque agent peut être faite tâche d'apprentissage indépendant scènes se. Dans Madl l'interaction multi-agents, par le biais

Fournir des signaux double de rétroaction guide d'aide et d'améliorer notre --f_0 ultime but ultime et l'apprentissage g_0. fonction de perte MADL est exprimée sous la forme:

Application nerf MADL traduction automatique

Dans la traduction automatique, nous utilisons une méthode d'échantillonnage de l'échantillonnage de la ligne et l'importance des gradients estimés, l'algorithme spécifique est suit comme:

Nous avons effectué des expériences sur les tâches de traduction plus largement utilisés, y compris

• IWSLT 2014 tâche de traduction anglo-allemande (données de formation IWSLT2014,153K)

• WMT 2014 tâche de traduction anglo-allemande (WMT2014 En-De, les données de formation 4.5m)

• WMT 2016 traduction anglo-allemand des tâches non supervisées (WMT2016 sans supervision En-De, non seulement des données standard)

Ce qui, en WMT2014, en utilisant uniquement des données standard et il n'y a pas d'augmentation marquée de deux données scènes, nous avons réalisé les meilleures performances dans la même configuration de l'environnement, sur WMT2016 tâche de traduction sans supervision, nous sommes dans le sens de l'anglo-allemand / allemand-anglais respectivement 19,26 / 23,85 BLEU, a dépassé tous les systèmes de NMT pur précédent.

WMT 14 En-De

WMT {16, 17, 18} En-De

WMT 16 Unsupervised En-De

Application image MADL Traduction

Dans la traduction de l'image, nous Madl en combinaison CycleGAN de fonction objectif d'optimisation est la suivante:

Nous traduisons l'autre, l'étiquette de test en photos et peintures (Van Gogh, Cézanne, Monet, Ukiyo-e) dans la rue et deux tâches de traduction sont une meilleure qualité de traduction.

Etude de cas (Van Gogh - > photo)

Fondée sur la connaissance la traduction automatique de distillation nerveuse en plusieurs langues

Multilingue Neural traduction automatique avec des connaissances Distillation

Xu Tan, Yi Ren, Di He, Tao Qin, Zhao Zhou, Tie-Yan Liu

Adresse Papers: https: id = //openreview.net/forum S1gUsoR9YX?

Adresse Code: https://github.com/RayeRen/multilingual-kd-pytorch

modèle de traduction multi-langues (un modèle de traduction simultanée en plusieurs langues), en raison de réduire le coût de la formation de plusieurs modèles de services en ligne, hors ligne et réduire la consommation, est de plus en plus d'attention. Lorsque le modèle multi-langue pour gérer des dizaines, des centaines de langues, l'exactitude de la traduction est généralement moins que le modèle de traduction d'une langue (un modèle seulement un traducteur pour la langue). Sur la base de ce phénomène, nous proposons la méthode de la connaissance par distillation du transfert des connaissances de la performance Jiaoyou du modèle de traduction de langue unique à un modèle en plusieurs langues dans le passé, afin d'améliorer la précision du modèle de traduction multilingue.

Notre connaissance distillée dans ce scénario exprimé en tant que professeur d'étudiant plus simple modèle de langage et un modèle en plusieurs langues, comme indiqué ci-dessus. Nous connaissances de distillation par la connaissance de chaque modèle monolingue distillé dans un modèle multi-langue, où la connaissance de la langue de chaque processus de distillation est la suivante:

Dans lequel L_NLL (D; ) représente le nombre d'une fonction réelle jeu de perte de la probabilité de formation, L_KD (D; , _T) représentative de la fonction de perte distillée de connaissances, la fonction de perte finale L_ALL (D; , _T) est deux personne moyenne pondérée. D représente l'ensemble des données de formation, représente les paramètres de l'étudiant modèle, paramètre modèle _T représentant les enseignants, les représentants T_y durée de la peine cible, | V | représente la taille de la table de mot cible, les distributions de probabilité Q au nom du modèle des enseignants.

Dans la connaissance du processus de distillation en plusieurs langues, nous vous proposons également deux stratégies de distillation pour assurer l'exécution de l'algorithme: distillation sélective Top-K et distillée.

distillation sélective: Lorsque la précision modèle de traduction multi-langues (étudiants) plus d'un modèle de langage unique (enseignant) un certain seuil, nous avons supprimé la fonction de perte de distillation correspondant à la langue, en utilisant uniquement la perte de fonction log-vraisemblance d'origine dans cette langue. Cela empêche pauvre enseignant aux élèves enseignent mauvais.

Distillation Top-K: Dans le processus de distillation exige sortie de distribution de probabilité des enseignants des pertes de distillation de calcul GPU de mémoire vidéo, alors que la taille du modèle de traduction de vocabulaire général de l'ordre de dizaines de milliers, cela va augmenter considérablement la mémoire du GPU et calcul en tête. Ainsi, nous venons de mettre la distribution de probabilité de la sortie maximale de l'enseignant K probabilité renormalisée à une nouvelle distribution de probabilité de la charge au GPU, économisant ainsi la mémoire et les frais généraux de calcul, alors que les expériences ont montré aucune perte de précision.

Nous vérifions l'effet de la méthode sur IWSLT / WMT / TED Talks sur trois ensembles de données de traduction de langue. Le tableau présente les résultats suivants sur le jeu de données WMT, méthode classique de base de multi-langue (Multi-base) par rapport à un modèle de langage unique (individuel) un certain degré de perte de performance, et notre méthode (Multi-Distillation) par rapport à un seul le modèle de langue a l'amélioration des performances, il est d'améliorer 1-2 points de UEBL que la multi-langue de référence, montrant l'efficacité de notre approche. Les résultats expérimentaux plus ensembles de données et l'analyse des méthodes, voir le document.

modèle de dégradation de l'expression génération du langage naturel Formation

Représentation Dégénérescence problème dans les modèles de formation Génération du langage naturel

Juin Gao, Di He, Xu Tan, Tao Qin, Wang Liwei, Tie-Yan Liu

Adresse Papers: https: id = //openreview.net/forum SkEYojRqtm?

Ces dernières années, des algorithmes basés sur les réseaux de neurones a fait des progrès significatifs dans les tâches de génération de langage naturel, y compris une gamme de modèle de langage des zones, la traduction automatique, les systèmes de dialogue. Le principal modèle de cadre est de prédire le mot suivant dans un contexte donné sur la base des informations sémantiques et d'autres. Une approche classique consiste à utiliser la profondeur du réseau de neurones pour le vecteur codé d'entrée d'une taille fixe, on appelle l'état caché, puis multiplié par l'expression enrobage matrice de mots. La valeur de sortie est autre fonction softmax en entrée le mot suivant pour donner distribué sur tous les mots candidats. En étudiant ces basé sur le modèle de réseau de neurones, nous avons observé un phénomène intéressant et surprenant. Nous avons constaté que lorsque nous optimisons les tâches neurales de génération de langage naturel du réseau en maximisant la fonction de vraisemblance, en particulier dans le cas des grands ensembles, la plupart des mots appris incorporés dans des vecteurs de mots ont tendance à dégénérer et distribués dans les données de formation un cône étroit entre eux.

Ce phénomène est très différent des autres tâches de classification, et peut réduire de manière significative l'expression du modèle. A partir de la couche de sortie softmax, ces paramètres doivent avoir une variété de la distribution, pour parvenir à une plus grande distance libre (marge), vecteurs terme du point de vue de l'insert, ces paramètres doivent avoir la capacité de caractériser la sémantique du langage naturel géant changer. Toutefois, selon nos observations expérimentales, bien que la complexité du modèle (par exemple, les paramètres du modèle dimensionnel) fournit suffisamment de compétences, apprendre à réellement modèle n'a qu'une capacité limitée à exprimer.

Cet article analyse la cause des problèmes et des conditions théoriquement et propose de résoudre le problème par une méthode d'augmentation du cosinus de l'angle entre deux vecteurs de mots.

Sur la base des résultats expérimentaux WMT-2014 En-De / De-En traduction automatique WikiText-2 et les modèles linguistiques montrent que notre méthode peut largement atténuer la dégradation express, et d'obtenir de meilleures performances que la ligne de base, d'améliorer efficacement le modèle compétences.

Cliquez pour mettre fin à la Lire l'original Vous pouvez télécharger ce package six documents