Lei Feng réseau par AI Technology Review: Après trois Tutoriel Session 10 Juillet Réception et dîner d'ouverture, tenue à Stockholm, en Suède haut de l'apprentissage machine ICML 2018 officiellement entré le premier jour de la réunion ordinaire.

Mot d'ouverture Mot d'ouverture

L'heure locale à 08h45 à l'heure de Beijing 11 Juillet matin sur Juillet ouverture 11 Remarques 14h45 au premier départ il y avait un petit accident, salle de conférence deux rideaux, deux projecteurs configurés à l'avant d'un Taiwan est rompu, la façon dont Francis Bach discours du Président de l'Assemblée générale s'allume - bien sûr, un bon projecteur dans l'instant, le public éclata en applaudissements chaleureux.

Le président a déclaré que les plans ICML l'année prochaine et CVPR comme Long Beach en Californie tenue en 2020 à Vienne, en Autriche, 2021 à Honolulu, Hawaii.

Parce que beaucoup de participants, audacieux rappel Ne pas entrer dans une pièce quand il est plein

ICML quatre présentations invitées sont suit en cette année: de l'UC Berkeley génie électrique et professeur d'informatique « AI et de sécurité: leçons, défis et orientations futures » Dawn Song (AI et de la sécurité: leçons, défis et l'orientation future) de Président de la machine d'apprentissage école de l'Université d'Amsterdam, le professeur Max Welling, vice-président de Qualcomm « Intelligence par kilowattheure » (mesure de sagesse kWh), « Langue à l'action du professeur Joyce Chai école d'informatique et de génie, Université du Michigan: vers l'apprentissage Tâche interactif avec les agents physiques « (de la langue à l'action: vers un véritable apprentissage de la tâche du robot interactif), ainsi que de l'école du MIT de calcul professeur de sciences cognitives et de Joshua Brett Tenenbaum » construire des machines qui apprennent et je pense que comme les gens « (construction comme les humains l'apprentissage et les machines pensantes).

Lei Feng réseau AI Technology Review a appris, ICML cette année (Conférence internationale sur l'apprentissage automatique) est une conférence internationale et multi-agents système d'agent autonome (AAMAS) et la Conférence mixte internationale de l'intelligence artificielle (IJCAI) tenue au même endroit, organiser l'ordre du jour il y a des rapports sur la session conjointe de l'Assemblée générale et l'atelier conjoint. Après deux conférences invités est dans une session conjointe de l'Assemblée générale du rapport.

Comme avec d'autres conférences d'apprentissage de la machine, cette année, le nombre de cotisants ICML continuent également à augmenter. numéros ICML 2017 sont 1676 demandes, 434 communications acceptées, cette année est 2473/621, le nombre de cotisants a augmenté de 45% . Faire un nuage de mots de tous les papiers statistiques des mots clés, pas surprenant de voir que l'apprentissage, profond, réseau, modèle, l'apprentissage de renforcement, d'optimisation et d'autres termes.

La zone la plus populaire est la contribution des architectures de réseaux de neurones, il y a plus de 200 soumissions. Suivi par catégorie suivi par l'apprentissage de renforcement, la théorie de l'apprentissage en profondeur, l'apprentissage en profondeur conflictuel, optimisation convexe, optimisation non convexe, l'apprentissage supervisé, l'apprentissage en ligne, modèles génératifs, théorie de l'apprentissage statistique, apprentissage non supervisé, la mobilité et l'apprentissage multi-tâches et ainsi de suite.

Avant NIPS en raison du nombre de documents multi-contributeur, examinateur niveau inégal d'essais et d'AC procès sont souvent très différentes et stimuler la discussion, comité ICML a également compté la différence de score avant et après Réfutation, donnez-nous une discussion sur l'équité du processus d'examen référence. Après Réfutation, la proportion des commentaires des examinateurs fraction mise à jour 45.7% des documents mis à jour 9,2%. Et 16% dans les points de réception de papier près de la ligne frontière.

Best Paper Award, nomination pour le prix du meilleur article, l'épreuve du temps annoncera les gagnants du papier aussi sur la scène à nouveau.

primé Best Paper Award (Best Paper Awards) deux documents

Dégradés brouillées Donnez un faux sentiment de sécurité: Contourner Défenses à accusatoires Exemples

• Juste un faux sentiment de sécurité apporté par la défense floue Gradient: pour la défense des échantillons by-pass de confrontation

• Résumé: Les auteurs proposent, gradient en logique floue (gradients brouillées) cette méthode d'ombrage de gradient, l'échantillon pour la défense conflictuel n'est pas une véritable sécurité. Bien que le gradient flou de déclenchement de la défense semble pouvoir résister à la méthode basée sur l'optimisation itérative d'attaque, mais les auteurs ont constaté que le recours à cet effet de flou gradient approche défensive, il peut effectivement être contournée. Les auteurs décrivent les caractéristiques de la défense résultant effet de gradient en logique floue, et les divisent en trois catégories, alors ils peuvent dérivation conçu pour chaque type de procédé de défense d'attaque. Méthode boîte blanche les auteurs prennent le papier défense IPSC 2018 comme étude de cas sujet, ils ont trouvé flou gradient est une pratique courante, 9 approche défensive que le papier a étudié sept espèces qui dépendent de la méthode de gradient floue. 6 façons nouvelle méthode d'attaque proposée par les auteurs cheveux complètement les contourner, sans passer par une sorte de partie.

• Adresse Papers: https: //arxiv.org/abs/1802.00420

Impact retardé de la Foire Apprentissage

• Les effets différés de la juste Apprentissage

• Résumé: Avant que les chercheurs est d'étudier le problème de l'équité dans l'apprentissage de la machine dans une classification statique de la scène principale, et aucune recherche sur la façon dont ces décisions auront une incidence sur le temps entre la répartition de la population de changements profonds. On croit généralement que le concept traditionnel de modèles d'apprentissage de la machine appliquée aux intérêts à long terme sont mieux en mesure de protéger le traitement injuste des personnes à l'avenir à l'équité limite.

  Le présent document, les auteurs ont étudié l'interaction entre les intérêts de l'indice de contrainte d'équité participants à statique au fil du temps, ces indicateurs comprennent les échelles de temps de montée de gamme d'intérêt des variables de recherche, la stagnation ou le déclin. Les auteurs montrent que même si seulement pour un ordre de modèle de rétroaction, les restrictions d'actions ordinaires en général ne sera pas susciter l'intérêt, en fait, quand un des objectifs tout à fait sans restriction peuvent apporter des résultats anormaux, l'équité des restrictions imposées plus tard, dans certains cas, il peut effectivement causer des dommages.

  Les auteurs analysent l'impact des trois normes de contrainte d'équité causée par le retard, trois environnements présentent un comportement différent peut être quantifié. De l'extérieur, les auteurs ont également trouvé une forme naturelle de l'erreur de mesure, il peut développer l'environnement des restrictions à la participation plus conforme à la performance de l'homme.

  Les résultats des auteurs reflètent la restriction importante de l'équité de la mesure d'évaluation de la sélection et de l'importance de la modélisation en fonction du temps, qui a révélé également une nouvelle série de défis et des compromis.

• Adresse Papers: https: //arxiv.org/abs/1803.04383

Meilleures nominations Paper Award décerne trois documents (Best Paper Awards) Finaliste

La mécanique de n-Player Jeux différentiables

• différentiel mécanisme jeu multi-joueur peut

• Résumé: Le plus fondamental des pierres angulaires de l'apprentissage en profondeur est le gradient d'un objet peut être abandonné par la suite convergent vers une garantie minimum local. Malheureusement, dans certains paramètres pour faire en sorte que l'échec d'un tel sera de nature à générer un antagonisme réseau, qui influencent chacune de la pluralité de la fonction de perte. Comportement dans le jeu n'a pas été bien étudié les méthodes basées sur les gradients, et l'architecture du modèle conflictuel et le développement de la recherche multi-objectif dans ce domaine est devenu de plus en plus importante. Dans cet article, les auteurs ont mis au point une nouvelle méthode pour comprendre et contrôler le jeu de la performance dynamique générale. Le principal résultat a été les caractéristiques dynamiques de second ordre en deux termes. Le premier terme peut être lié au jeu, il peut être réduit en fonction de la diminution de la fonction implicite du gradient, le deuxième terme hamiltonien lié au jeu, ce qui est une nouvelle classe de loi de conservation du jeu de suivi, la conservation et le système mécanique classique la loi est très similaire. Ce moyen de décomposition apporte algorithme gradient ajustement octobre (Symplectic Réglage gradient), qui est un nouvel algorithme peut trouver un point fixe stable dans le jeu normal. expériences fondamentales montrent que EAG et a récemment proposé un algorithme pour trouver au point fixe GAN de stabilité ont les mêmes performances, mais peuvent également être appliqués au jeu plus général, mais aussi pour assurer résolus.

• Adresse Papers: https: //arxiv.org/abs/1802.05642

Près Optimal Directions fréquentes pour Esquisser Dense et Sparse Matrices

Pour dense, direction quasi-optimale algorithme de matrice souvent rares

Le seul auteur du document est professeur associé de l'Université Fudan Huangzeng Feng gros volumes de données

Résumé: Pour une grande matrice

Nous considérons que le calcul de cette matrice matrice Synopsis (matrice croquis)

Question. Cette matrice devrait être sensiblement plus petite, mais aussi suffisamment proche de A. Nous considérons minimiser la covariance d'erreur suivant

Nous considérons cette question dans le modèle de flux, où seul algorithme de l'espace de travail limité est ici, et ne peut entrer une fois résultat calculé. direction fréquente algorithme populaire (Directions fréquentes) et ses diverses variations et l'erreur entre les offres d'espace de choix de l'optimal. Cependant, le temps d'exécution de l'algorithme peut être améliorée si le problème n'a pas encore été une étude.

La complexité Dans cet article, nous avons presque résolu le problème du temps. En particulier, nous proposons un nouvel algorithme pour l'espace optimal, il a un temps d'exécution plus rapides. De plus, nous montrons le temps d'exécution de l'algorithme est presque optimale, à moins que la matrice optimale actuelle temps de fonctionnement de multiplication peut être grandement améliorée.

Documents Adresse: http: //www.cse.ust.hk/~huangzf/ICML18.pdf

Sans équité Démographie en perte répétée Minimisation

• En répétées de minimiser les pertes, les données démographiques ne statistiques ont pas besoin pour parvenir à l'égalité

• Université de Stanford professeur Percy Liang est l'un des auteurs de cet article

• Résumé: Les modèles d'apprentissage de la machine (comme modèle de reconnaissance vocale) au cours de la formation font souvent la perte moyenne est réduite au minimum, il apportera la caractérisation du problème de l'écart - minorités (comme les locuteurs non natifs) en raison des objectifs de formation moins de contributions, la valeur de la perte de ces échantillons également plus élevés. Pire encore, comme la baisse de la précision du modèle affecte l'utilisateur retenu, l'utilisation du modèle minoritaire sera de moins en moins. Dans cet article, les auteurs montrent d'abord l'approche de minimisation des risques empiriques (ERM) caractérisera le problème de l'écart devient plus grave situation qui fait même le modèle initial de l'égalité deviennent aussi inégale. Pour remédier à ce problème, les auteurs ont mis au point une nouvelle méthode de distribution Optimisation robuste (DRO) basé sur le pire des cas, il risque de toutes les distributions de données sont réduites au minimum à proximité distribution empirique. Les auteurs montrent que cette méthode à chaque pas de temps sont contrôlés minorités de risque, selon Rawls, puis évaluer l'idée de la distribution de la justice, mais aussi d'ignorer l'identité des différences entre les différents groupes. Les auteurs montrent le cas dans le mécanisme de change ne peut pas empêcher la caractérisation des pauvres a augmenté DRO arrêter de se produire, mais aussi dans le texte du monde réel pour automatiser des tâches augmente avec succès les minorités de la satisfaction des utilisateurs.

• Adresse Papers: https: //arxiv.org/abs/1806.08010

Le temps cherche des documents primés papier

Une architecture unifiée pour le traitement du langage naturel: Deep Neural Networks avec Multitâche Learning

• Une architecture unifiée de traitement du langage naturel: profondeur multi-tâches d'apprentissage réseau de neurones

• Ce document de ICML 2008

• Les auteurs décrivent une architecture de réseau de neurones de convolution, les modèles de langue se fondent sur une sortie de boîte réseau une série de prédiction de traitement linguistique basée sur la phrase donnée, y compris la partie de l'étiquette de la phrase, l'article de corpus, peuvent être nommés balises entité, sémantique rôle similaire à la sémantique des mots, des phrases et probabilité significative (syntaxe et la sémantique pointe de l'angle de vue). Le réseau entier est sur toutes ces tâches de formation commune partagés avec des poids moyen, cela est devenu un exemple d'apprentissage multi-tâches. Toutes les tâches en utilisant les données d'annotation, en plus de modèle d'apprentissage des langues est jamais texte marqué, et il fournit également une nouvelle forme d'apprentissage semi-supervisé pour partager ces tâches. Les auteurs ont démontré l'apprentissage multi-tâches et l'apprentissage semi-supervisé peuvent augmenter la généralisation de ces tâches partagées, et en fin de compte la performance offre ultime.

• Information Adresse: http: //videolectures.net/icml08_collobert_uanl/ (avec vidéo et PPT)

À l'heure actuelle ICML 2018 est toujours en plein essor, le positif se déroulera à 13 Juillet. Lei Feng réseau AI Technology Review continuera à publier des rapports, restez à l'écoute. photo avant merci Wu Liwei.