Lei Feng réseau par AI Technology Review: Les cercles d'apprentissage machine ces jours, une drôle de chose est arrivé, un groupe d'esprits bien connus des chercheurs dans la lutte pour tenir ICML 2018 (débat) se réunissent, les résultats ne se querellent.

De la « tendance étrange » pour commencer

Avant l'ouverture de ICML 2018, professeur adjoint à l'Université Carnegie Mellon, Zachary C. Lipton et le Dr Jacob Steinhardt Université de Stanford ont publié conjointement un article intitulé « Tendances troublantes dans Scholarship Machine Learning » (apprentissage machine étrange tendance de la recherche académique) de , décrivent leur étude de quatre étrange tendance académique vu ces dernières années la machine:

• Vous ne pouvez pas faire une distinction claire entre l'interprétation et de la spéculation;

• Quand a été amélioré dans les expériences de démonstration, il ne pouvait pas confirmer la véritable source d'amélioration, tels que trop l'accent sur les gains de performance de l'architecture de réseau non neurones doit être des changements, mais il est dérivé en fait de la pleine exécution des tests ultra paramètres;

• Mathématiques: l'utilisation d'un grand nombre de concepts et des formules mathématiques juste pour confondre le concept ou regarder grand, mais pas vraiment faire une expression claire, comme confondre le concept de technique et non technique;

• Vocabulaire de la violence, comme avec un peu funky connotation familière des mots ou le vocabulaire à la technologie existante pour ajouter un sens supplémentaire.

En plus de l'analyse et critique de ces tendances, les auteurs ont également essai de style d'écriture correcte, comment correctement examiné et publié donne ses propres conseils.

En plus de cet article sur Twitter est largement transmis et la discussion, en fait, ICML 2018 également à cet article comme primaire, mettre en place un débat (Machine Learning: Les grands débats) le dernier jour de l'atelier, a invité un grand nombre bien connu les chercheurs dans le domaine de la machine impliqués dans le débat.

Tout le débat est divisé en quatre thèmes: la rigueur de la recherche sur l'apprentissage machine, les possibilités d'équité et les limites de l'apprentissage automatique, la sécurité, l'apprentissage de la machine et méthodes d'apprentissage en profondeur. 16 chercheurs sont divisés en quatre groupes pour un sujet de débat. On discuta également entrecoupées d'un petit discours, Zachary Lipton explique quelques-uns des points importants dans l'article, les chercheurs rappellent des pratiques néfastes restent vigilants.

De Zachary Lipton, parler de l'abus de papier de langue

• suggestif vocabulaire: la pensée de vecteur, conscience, transcendantale, la curiosité, la peur, la sémantique. Ces mots semblent impliquer modèle avec la capacité cognitive comme un humain, mais en fait bien pire. Une fois qu'un vocabulaire a été utilisé, est censé augmenter le nombre de sens technique, alors les chercheurs devront choisir de le poursuivre, ou remplacé par un nouveau vocabulaire.
• Vocabulaire technique de la violence: déconvolution, interprétation, modèle génératif, montage, généralisation. Ces mots ont une signification technique en elle-même, mais il est souvent utilisé pour indiquer similaire, mais n'a pas la même signification que celle associée, a également abouti à la confusion continue.
• mots « valise »: l'égalité, l'intelligibilité, la conscience. Ces mots peuvent avoir plusieurs significations d'un mot est comme une valise pleine de bouchons.

De Zachary Lipton, les auteurs du document suggéré: la motivation, l'utilisation de la langue, l'expérience, la réalisation et la théorie elle-même doit avoir suffisamment de rigueur

• Motivation: demander « pourquoi » et ne pas être satisfait de « la qualité »
• Langue: Le but du contenu est écrit peut être compris, y compris les examinateurs, les étudiants et le grand public (si possible)
• Résultats de la rigueur de l'expérience: le code de l'action pour assurer la reproductibilité, l'étude en tant que variable de contrôle, analyse d'erreur, la description détaillée de l'algorithme mauvais état de la performance
• Théorie: moi-même demandé à plusieurs reprises, faire la théorie est juste, il est une relation, il est clair et concis?

De Zachary Lipton, il est recommandé pour les personnes de critiques:

• Guide de la recherche vers les incitations des examinateurs, les examinateurs doivent donc assumer la responsabilité.
• Vos commentaires des examinateurs reflètent la valeur de la culture scientifique et les capacités de communication claires hautement qualifié encore?
• Vous serez plus prêt / pas disposé à accepter plus de papier, comme: - comprend les mauvais résultats - ont été jugés sur l'algorithme ne les ensembles de données travail non / questions - y compris un complexe (mais peut aussi devenir trop difficile à lire et à comprendre) théorème

débat vers

Tout le débat est très riche, et face à un point de vue de la communication face également donné lieu à beaucoup d'étincelles, la présence du public a exprimé une sensation de fraîcheur. Bien que les conditions ne peuvent pas reproduire le texte intégral à tout le monde, mais Lei Feng réseau AI Technology Review extraits de certains émergé très classique de la discussion, et de la peine à réfléchir.

thème « apprentissage en profondeur » - l'approche de l'apprentissage en profondeur actuelle et prévisible a des limites inhérentes, ce qui limite aussi la capacité de faire l'intelligence artificielle de haut niveau avec la profondeur de l'apprentissage, à moins que nous avons d'autres moyens de compléter

Gary Marcus Leader, professeur de psychologie à l'Université de New York, un ancien laboratoire d'intelligence artificielle Uber

• Si vous entrez des données un peu de changement un peu, le système ne peut pas fonctionner correctement, qu'il ne soit pas vraiment « apprendre » quoi que ce soit de celui-ci?

• Si nous apprenons à être considéré comme l'évolution biologique, alors tout processus d'adaptation peut être considéré comme « l'apprentissage », il deviendra très large « d'apprentissage » au sens du mot, nous sommes maintenant le débat ne sera pas de sens a.

• S'il n'y a pas de modèle conceptuel, juste faire l'optimisation de la boîte noire, il ne suffit pas.

Thomas G.Dietterich professeur de l'Université Oregon State émérite, ancien président AAAI

• 200 ans de cerveau fille famille Gary Marcus de données codées par voie d'évolution, la chaise afin qu'elle puisse comprendre comment il était.

• Nous ne l'algorithme personnifiée. Le nom de l'algorithme doit refléter ce qu'ils font, comment faire, plutôt que de vagues par rapport à la sagesse, la curiosité, comme le concept de rêve humain.

• Alors, pourquoi les chats ont quatre pattes? (Gary Marcus a poursuivi en disant: quatre jambes, mais il peut encore être retiré après une promenade.)

• Pour la causalité, je pense que les gens surestiment l'importance des relations de cause à effet, et la capacité humaine à faire face à leur propre relation de cause à effet est pas comment. Il est donc un sujet de recherche intéressant.

• 80% à 90% de toute la sagesse et le comportement social humain possible, et les sentiments liés, mais cet aspect est difficile d'obtenir les données.

• Ce ICMLDebates ce que nous voulons débattre, ne devraient pas discuter de la façon de redéfinir ces termes que nous parlons à la fin est ce que cela signifie.

« Égalité » sujet - sur les questions d'égalité à participer à des discussions efficaces, la communauté d'apprentissage de la machine ne doit pas être réduite à l'égalité d'un problème technique. Au contraire, le problème devrait être, de plus en plus évidente provoquer un large éventail d'organisations a changé de plus en plus, mais aussi de se tenir à l'impact politique de la technologie elle-même

Rodrigo Ochigame , PhD MIT, MIT Media Lab intelligence artificielle et l'équipe de morale

• Aujourd'hui, l'industrie de la technologie pour l'égalité de le faire et ce que l'industrie de l'assurance des années 1980 actuarielle faire la même chose, il se termine avec succès ce mouvement social.

• algorithme L'égalité n'existe pas. Mais existe l'égalité de décision. Revendications pour le développement égal de l'algorithme est très simple, ce qui est leur stratégie politique de l'entreprise commune, ils en mesure d'éviter les questions d'égalité arithmétique entraîné un profond impact social.

thème « Rigueur »

Zachary Lipton , CMU professeur adjoint, « Troublant Tendances des bourses d'études Machine Learning » comme

• L'importance de la recherche scientifique est une contribution précieuse, pas beaucoup d'argent.

• Novices ne peuvent pas comprendre quelles sont les questions ouvertes, et on ne leur donne pas la peine.

• Nous devons accorder une attention prioritaire à la découverte de nouvelles connaissances, plutôt que l'architecture de réseau nouvellement découverte.

• Nous devrions essayer d'éviter d'utiliser « l'égalité », « interprétabilité » Un tel style « valise » vocabulaire - lorsque vous ouvrez le voir, qui sait ce qui va arriver. Fondamentalement, tout le monde a une compréhension différente du mot, avant de les comprendre d'abord à faire de nombreuses explications et définitions.

James Bradbury

• rigueur mathématique et l'intelligibilité est à la fois fin dialectal des coordonnées, ils sont eux-mêmes pas le problème lui-même.

• Nous avons besoin de plus de recherches et d'expériences pour valider notre thèse fait dans le choix passé est correct.

• concepts humains (tels que idiomatiques « curiosité ») est très important pour la communication réelle, parce qu'ils peuvent et concept plus large de l'intuition sociale et humaine pour générer des liens.

« Sécurité » le sujet - le système d'apprentissage de la machine d'aujourd'hui si fragile, et cette question est si important que nous ne devrions pas permettre largement utilisé dans des scénarios réels qu'ils

Percy Liang , Professeur adjoint à l'Université de Stanford, les chercheurs bien connus dans la PNL sur le terrain

• formulaire de vérification formelle est d'aucune utilité, mais essayez de le faire est utile.

• Modèle mathématique attaques sont souvent trop simple, pas représentatif de monde réel condition pratique et utile.

• De la "AI in vitro" (test étape de tube AI) à "AI in vivo" (stade embryonnaire AI) il y a une différence. Si nous essayons de ne pas déployer le système AI, nous ne serons pas en mesure d'apprendre.

Aleksander Madry , MIT professeur associé, les membres de l'équipe de CSAIL

• (Said à Percy Liang) Je aime votre point de vue, ces idées sont très créatifs. Je ne suis pas d'accord avec eux, mais je comme eux.

• Peut-être que nous devons rappeler aux jeunes chercheurs notent que le contenu du papier « est pas toujours » correcte.

débat « Feedback »

Pour ce débat, nous pouvons nous attendre chercheurs spontanément dans les avantages et les inconvénients, la guerre féroce des mots. Mais les chercheurs sont apparemment impliqués dans le débat ont une compréhension claire des problèmes existants dans le domaine, de sorte que quatre personnes impliquées dans le débat sur la plupart des questions peuvent parvenir à un accord bientôt. Participer à la foule débat AAAI Président, Arizona State University Professeur Subbarao Kambhampati tweeting tous regrettent que:

• Jusqu'à présent, ICML débats semble bien soutenu que « le même côté de la table pour asseoir confortablement côté difficile pour les gens à se querellent » hypothèse

• Quand les gens ou combien de temps ou d'accord avec l'autre, est en effet difficile débat passionnant (et peut-être qu'ils sont trop doux, ne sont pas d'accord, ils ont aussi ne le montrer)

Regarder le débat Hyrum Anderson Endgame, directeur des données scientifiques et techniques ont également résumées une sensation de choses mérite d'être méditée: Un attaquant peut utiliser de manière inattendue pour attaquer les regards du système n'a pas d'importance, pour aboutir finalement à des conséquences énormes, « Nous étions un système de recommandation ne pas cher, il est devenu président du Trump » .

Publier une nouvelle technologie dans le papier bien sûr est logique, mais nous devons réfléchir à la nouvelle technologie, nouvelle culture, il y a trop de choses. Lei Feng réseau AI Technology Review rapports.