Lei Feng réseau par AI Technology Review: les étudiants d'apprentissage de la machine, les chercheurs, les développeurs d'affaires sont habitués à dépenser beaucoup d'efforts sur le modèle d'optimisation, comme pour atteindre un taux de précision plus élevé / ASC / mAP et est donc la recherche et l'application de l'apprentissage machine tous. Mais peu de gens demandent: Excellent modèle de test de performance est vraiment bon résoudre les problèmes du monde réel il?

chercheur interprétable étudier la direction de la machine, « l'apprentissage de la machine interprétable » auteur Christoph Molnar a récemment publié un article sur le blog, appel de réveil pour vous rappeler cette tendance dans le domaine, a commencé à faire attention à l'application de l'apprentissage de la machine qui ne doit pas être négligée question. Lei Feng réseau AI Technology Review compilé comme suit.

Raconter une petite histoire.

Quelque part en Allemagne, une nuit tranquille. La plupart des gens ont est endormi, mais je ne. Je dois formation d'arrivée des modèles d'apprentissage de la machine. Je me comme dans le monde et le modèle de gens fascinés par la concurrence, nous devons voir à la fin qui peut obtenir le meilleur des prédictions du modèle. ventilateur de l'ordinateur bourdonnait, le clavier m'a aussi frappé glousser grincement. Mon modèle actuel n'a pas obtenu un bon classement dans le leaderboard public est venu au milieu de celui-ci. fait vraiment les gens viennent à l'air. La précision du modèle est en fait passable, mais dans ce jeu, « passable » ne suffit pas. Mieux que tous les autres modèles, est mon but ultime. Je dois aussi mieux fonctionnalité fonctionne mieux algorithme d'apprentissage. J'ai une nouvelle caractéristique de la mise en place de bonnes idées, mais je peux mettre en améliorer l'arbre de la forêt aléatoire. Ce modèle de formation ne devrait prendre une demi-heure, puis je dois aller me coucher.

Quelques heures plus tard, le temps est maintenant trois heures et demie. J'ai finalement obtenu un nouveau modèle de prédiction peut avoir un impact d'une nouvelle position sur le leaderboard. Je suis plein d'espoir lieu sur le bouton soumettre. Je suis très fatigué «vos résultats sont en cours d'évaluation, » invite l'air si floue. Combien dois-je aller, pour aller au top 10% le font? J'ai commencé douce rêverie. Mais les résultats réels rapidement brisé mes illusions, ce moment jamais je me sentais fatigué. Et encore moins obtenir un meilleur classement, ce n'est pas la performance du nouveau modèle en tant que modèle. Code, il y a bug? Il a été équipé? Ou suis-je tort les fichiers téléchargés? J'ai un cerveau et un problème qui sort, mais la raison me dit qu'il devait poser. Je tournions et retournions au lit, puis rêvé d'une croissance non-stop, un grand arbre que je ne comprendrai jamais.

« Je dois continuer à améliorer mes modèles d'apprentissage de la machine! »

Lunettes Opened regarder

Je me ai eu quelque chose comme ça à bricoler avec une expérience de course de modèle d'apprentissage de la machine jusque tard dans la nuit, et maintenant je ne veux pas le faire, il y a deux raisons 1, sommeil normal est beaucoup plus important pour moi, 2, ma compréhension de l'apprentissage machine a été grandement changé.

Quand je suis entré en contact avec un apprentissage de la machine, je pense que les compétences d'apprentissage machine la plus importante est de savoir comment former le modèle le plus performant. Pour atteindre cet objectif, je mets toute l'énergie utilisée pour en savoir plus algorithmes, les compétences d'ingénierie plus de fonctionnalités, plus des méthodes d'évaluation de l'algorithme, tout pour rendre le modèle d'erreur va immédiatement vers le bas. Je suis tellement accro que j'ai même écrit un poème pour la forêt aléatoire.

Aujourd'hui, mon avis a beaucoup changé. Je pense que la « machine learning » le sens des mots est bien plus que la fonction de perte est réduite au minimum. Dans une certaine mesure, le modèle ajusté peut dire est la partie la plus facile, parce qu'il ya un grand nombre de la littérature, des manuels, des exercices et des outils pratiques pour vous aider à améliorer la situation. Et vous pouvez toujours obtenir une rétroaction immédiate (besoins uniquement à tester sur le modèle de données n'ont pas vu sur la ligne), dans l'ensemble très satisfaisant. Je pense, à tout le champ de l'apprentissage de la machine est concernée, le modèle correspondent à cette région a développé assez matures. Mais en plus de l'ajustement du modèle, nous avons également besoin d'aborder beaucoup d'autres questions très difficiles. Par exemple:

• Comment prédire le problème réel dans une tâche?

• Comment pouvons-nous construire mécanisme de confiance dans un modèle prédictif?

• Si les données de formation contient un biais? Une fois les données de formation d'entrée de données et le déploiement réel de multiples degré élevé de similitude?

• Si le fonctionnement du système n'est pas normal, comment déboguer un modèle d'apprentissage de la machine?

• Quel genre de modèle de prévision d'impact donné (prévision particulièrement mauvais) provoquera l'utilisateur et le produit lui-même?

• L'existence de la relation de rétroaction préjudiciable entre les données actuelles et futures prévues ajoutera à la formation?

• Un modèle fixe sera de savoir comment type de performance dans un environnement changeant?

Dog Show porte. - « Mon chien de formation est très bonne. » - « Non! » - qui est les derniers scientifiques de données pour modéliser le monde réel, lorsqu'ils sont intégrés dans la manière

À mon avis, que les gens dans le domaine de l'apprentissage machine la plupart sont encore ne se soucient que de la façon dont le modèle d'optimisation, les problèmes que je viens de citer l'application pratique de ce modèle rencontrerai mal compris. Mais les bonnes nouvelles est qu'en général, nous sommes de plus en plus conscients de ces problèmes, mais aussi de consacrer plus d'efforts pour examiner ces questions. La pensée systémique, l'intelligibilité, l'équité, l'impact social, le rôle des données et ainsi de suite sont de plus en plus d'attention.

modèle tentation

Je viens de la machine qui a commencé à apprendre un quelques années intéressantes. À ce moment-là, je viens de rejoindre une entreprise de démarrage, responsable de plusieurs applications liées à l'apprentissage de la machine. A cette époque, mon niveau de programmation inférieur aux autres membres de l'équipe, mais j'ai posé beaucoup de questions, comme pour leur demander si la formation et l'utilisation des données dans les données après utilisation dans des applications similaires. Mon professeur m'a fait l'éloge des bonnes questions, mais je ne comprenais pas pourquoi il devrait me féliciter, alors de toute évidence, je me soucie est mon cur, « comment je ne l'ai pas appris à utiliser un langage de programmation Scala », et je pense aussi, savoir comment construire un des modèles prédictifs plus puissants est plus important que poser ces questions. Même maintenant, je comprends parfaitement pourquoi mon professeur m'a fait l'éloge.

Au bout de cinq ans avant que je comprends enfin, « le montage des meilleurs modèles d'apprentissage de la machine » de la petite taille de l'impact de cette question. Vous pouvez comprendre pourquoi il faut cinq ans? Autrement dit, tous sont trop préoccupés par l'enseignement et de recherche sur l'apprentissage de la machine de « meilleur modèle » et, par conséquent, ignorer les données, sans tenir compte du facteur humain, aussi passer à côté du modèle complexe de prédiction d'interaction avec l'environnement hôte.

Expand est le cas, laissez-nous à travers une machine hypothétique apprentissage nouvelle sensation à ce sujet. Son nom est Anna, elle est maintenant dans le Master de génie électrique, ont une base mathématique solide, il est possible d'écrire du code en langage C et Python. Sa première machine d'apprentissage cours d'initiation est des cours d'apprentissage en ligne de machine Andrew Ng, alors qu'elle était encore à regarder « base d'apprentissage statistique (Éléments de l'apprentissage statistique) » livre. Et tous les autres matériels didactiques comme des livres et des cours en ligne sont énumérés un par un les différents modèles, et décrit en détail les principes mathématiques derrière le modèle. Ils ne mentionnent presque jamais comment comprendre les données, comment considérer l'impact social et éthique, comment interpréter le modèle de scénario, les modèles et ainsi de suite. Bien sûr, elle verra certains cas d'application, mais ces cas sont rien de plus que la simple question idéale par bien conçue.

Après un certain temps, elle a commencé à participer à diverses compétitions sur Kaggle. Encore une fois, elle a vu sur le problème de la prévision par divers Kaggle conçu simplement pour nourrir la bouche: on voit derrière le jeu, Kaggle a le plus dur le plus fatigué de la vie ont fait, d'abord vous recherchez des entreprises, des données, des questions, prédire le problème dans la tâche, et d'examiner ensuite les données à utiliser, vous pouvez avoir besoin de faire un peu de nettoyage de données et de consolidation, puis sélectionnez un modèle standard d'évaluation, qui a organisé la Kaggle par. Pour ceux qui participent à la compétition Kaggle, le reste des choses à eux, en plus des caractéristiques du projet, bien sûr, que « le meilleur modèle d'ajustement » Ce tout! Qui a gagné le bonus de match à l'extérieur est-il? Excellente performance n'est pas un modèle, il interprétabilité de l'équipe, et non pas quand les gens prennent quelques jours de leur formation n'a besoin que de quelques secondes de l'équipe, pas le modèle ont vraiment la possibilité de déployer une équipe dans un environnement de production, ces modèles prédisent précision pas censé être le plus élevé. Croyez donc Anna suivra, l'apprentissage de la machine, il est juste de trouver le meilleur modèle pour prédire les performances, mais cette croyance plus fermement. Ce n'est pas une blague, tout le monde peut voir, nous avons que ceux qui peuvent tirer le meilleur modèle pour prédire les primes de performance et de l'honneur,

Ainsi, l'enthousiasme de l'apprentissage machine Anna était tout illuminé, elle veut obtenir un meilleur classement dans le prochain match! Heureusement, la communauté d'apprentissage de la machine est grande, très ouvert, il y a beaucoup de discussions sur la façon de blog de technologie débogage performance du modèle peut être pour elle d'apprendre, il y a beaucoup de bibliothèque la plus récente d'apprentissage de la machine lui permet d'utiliser cloné à partir GitHub. Elle a enfin compris: l'apprentissage de la machine est le meilleur modèle en forme.

Anna a également commencé à réaliser à quel point les jeunes du domaine de l'apprentissage de la machine ont, mais aussi à quel point le milieu universitaire et l'industrie. Afin de comprendre l'avant-garde de la technologie, elle a commencé à lire les journaux sur l'apprentissage de la machine. Où trouvez-vous le lancez, ah, bien sûr, est le plus grand nombre de citations lire le journal! Alors, qu'est-ce que le nombre de documents très cités? Des tâches de recherche documents de recherche cours de thèse modèles communs et tous les types de cadre d'apprentissage machine du ......

Les données scientifiques un rêve: un modèle, à tout résoudre (comme le Seigneur des Anneaux «un anneau, la domination sur tout. »)

On peut dire que de cette manière Anna, et elle se sentait toujours ce dans le message le plus simple: Si vous voulez faire l'apprentissage de la machine, vous avez besoin d'une étude en profondeur de l'algorithme de modélisation (ainsi que quelques conseils comportent des projets). Les termes et par ailleurs, presque personne n'a mentionné.

l'ajustement du modèle n'est pas le seul aspect important

Cela dit, je pense que cela a été dit depuis longtemps à comprendre, pour gagner le jeu ne suffit pas d'appeler la machine Kaggle experts d'apprentissage. Ce manque de connaissance de ce qui est? À mon humble avis, l'importance de suivre ces sujets sont complètement ignorés, tout le champ de l'apprentissage de la machine doit commencer à faire attention à ces questions.

• Mise en forme des questions : Le vrai problème se transforme en une prédiction ou un problème de reconnaissance des formes.

• processus de génération de données : Pour comprendre les données, comprendre les limites et l'applicabilité des données dans la résolution de problèmes.

• modèle explique : Analyse de manière modèle autre que la performance de la méthode d'estimation validation croisée

• scénarios : Modèle de pensée peut affecter l'autre et le monde réel

• modèle de déploiement : Le modèle est intégré dans le produit ou le procédé de calcul

Voici quelques-uns colonne simple, nous pouvons continuer à ajouter.

Vous pouvez bien faire des erreurs dans ces domaines après le meilleur ajustement du modèle, votre modèle deviendra inutile, ou même devenir nuisible. Lorsque les données réelles de vos données de formation et les applications ne correspondent pas, votre modèle peut tout simplement pas donner les prédictions correctes. Lorsque vos dirigeants craignent que le modèle est une boîte noire et a refusé de l'utiliser, vous devez venir avec un tableau blanc en essayant de les expliquer. Si vous trouvez que votre modèle a un parti pris contre les personnes ayant une couleur différente de la peau, alors vous feriez mieux de ne pas utiliser ce modèle.

Tant que vous mettez la forme de questions, les données, l'interprétation et des scénarios de déploiement faites, votre projet peut être très efficace, votre modèle est très générale précision de la prédiction n'a pas d'importance. D'autres aspects si bien fait, même si elle est un long temps de débogage, les données de test sur le modèle intégré ne peut être parfait pour être jeté dans la poubelle.

Mauvais est facile, il est difficile de faire

modèles d'apprentissage de la machine peuvent prédire une bonne performance, mais l'impact des personnes et contrairement à toute attente, je vous raconter une histoire pour illustrer ce point. J'ai un ami qui travaille dans une entreprise de télécommunications, l'un des affaires de l'entreprise vend paquet de communication mobile (appel + SMS + trafic). Il a travaillé dans l'équipe scientifique de données de l'entreprise et la société veut prédire quels clients sont les plus susceptibles de ne pas continuer à utiliser le package, il est également membre du projet, de faire de cet objectif de prédiction est de donner aux clients ne peuvent pas continuer à être utilisé pour fournir plus rentable packages. Ainsi, l'équipe du projet va commencer la construction d'un modèle d'apprentissage de la machine, ce modèle est la capacité de distinguer l'utilisateur est aussi très bon. Puis ils ont mis une forte probabilité de listes d'utilisateurs, et de donner à une autre équipe, cette équipe passera par et par contact avec ces utilisateurs, en leur donnant des forfaits plus favorables.

Ensuite, le résultat? La société a annulé l'ensemble de plus en plus, pas moins!

Plus tard, ils ont réalisé qu'ils entrent en contact un par un les utilisateurs peuvent ne plus utiliser leurs services, à une partie ne peut pas continuer à utiliser ces paquets de l'entreprise. Le mouvement de Contacter était devenue telle qu'ils se rendent finalement et tournés vers d'autres opérateurs fusible.

Pourquoi faire quelque chose de mal? Dès le début, ils essaient de prédire le problème réel devient un problème quand il est faux. Leur modèle prédit « Comment la possibilité de résiliation du client X », mais en fait, ils doivent prévoir que « Lorsque nous contacter au client comment X lorsque la possibilité de résiliation de son. » Cela peut aussi être vu et scénarios questions connexes, quelles sont les conséquences après ne sont pas examinées avec soin dans le cadre de la fin de la pensée humaine dans le oui de fin. Pour cet exemple, le modèle peut être construit avec 10 points, mais les problèmes et les scénarios de mise en forme à considérer seulement 1 point.

Ne pensez pas que vos coéquipiers sur des données fiables

Il est non seulement pour les débutants que lorsque vous utilisez l'apprentissage de la machine pour résoudre les problèmes du monde réel font des erreurs? Bien sûr que non. Vous voulez acquérir des compétences en dehors du modèle d'apprentissage de la machine de montage, la meilleure façon est de participer à la résolution des problèmes du monde réel. Mais ce n'est pas fini, il faut vraiment vouloir être en termes de montage en dehors du modèle est devenu plus puissant.

Seule l'expérience ne suffit pas. Google, Amazon et autres investissements à grande échelle à long terme dans l'apprentissage des affaires à la machine, ne sont pas au-delà de la portée de tous les aspects du modèle d'optimisation de celui-ci? En fait, non. Même si elles ont si Duo Boshi, il y a tellement d'argent, il y a tant d'expériences, tant de données, tant l'expertise technique, ils n'ont pas compris. En fait, ils font encore des erreurs stupides, parce que l'application de l'apprentissage de la machine est la difficulté de la tâche dans le monde réel.

Je donne quelques grandes entreprises avec un apprentissage de la machine, puis foiré exemple:

• Photos Google (Google Photos) seraient classés comme chimpanzé noir. Ensuite, ils ont laissé la solution est plus un modèle de chimpanzé prédit cette catégorie. Il est comme votre mur de la maison coule, vous mettez en place le fond d'écran à des problèmes de couverture, au lieu de chercher pour vous parler en haut des voisins.

• Google Flu prévision (Google Suivi de la grippe) surestiment la probabilité d'apparition de la grippe. Ils ont ce produit hors de la ligne d'assemblage. La façon dont cela fonctionne est de se concentrer sur ces mots et ont une forte corrélation entre l'apparition de la grippe, et semblait complètement « basket-ball de l'école « , comme le mot causalité appris en elle.

• Amazon mettre en place l'outil de recrutement pour les préjugés sexistes. Amazon a pris son recrutement modèle de données formé, le modèle est une réflexion simple et directe du biais de genre Amazon dans le recrutement de (qui est, plus susceptibles de recruter des hommes). Ils ont donc pas utiliser cet outil. Mais en même temps leur sous-texte est la suivante: nous n'avons pas cet outil sur le droit, l'existence actuelle de préjugés sexistes sera réputée ne pas savoir. Comme ci-dessus, tapisser des problèmes de couverture.

Pourquoi ne pas vous simplifier la vie des données? Pourquoi pas?

Si le travail il n'y a pas de commentaires pour vous dire de bien faire, de faire le bien, vous pouvez vous sentir très fatigué. Surtout pour faire des recherches universitaires, ou vous n'avez pas le supérieur hiérarchique direct en cas de doute ce qu'ils font est très bien une chose de bon sens. Si vous avez un patron ou supérieur à vous dire quoi faire, je me sentirai un peu plus facile, mais je vous dis en secret une vérité, personne ne peut vraiment comprendre. Quoi que vous fassiez une douzaine d'années, voire des décennies, peu importe combien l'expérience sociale, vous ne pouvez pas commencer une journée de tout dans ce monde sont très claires.

Une solution consiste à utiliser les données à mesurer vos progrès, cela vous donnera quelques commentaires. Il peut être considéré comme indicateurs du succès de celui-ci.

• « Aujourd'hui, je l'ai lu cinq papiers. »

• « Cette semaine, je termine un rapport de 10 pages. »

• « Mon site ce mois-ci 10k vues. »

• « Ce que je année obtenu 20k bonus. »

Dans une certaine mesure, le succès de mesure numérique est une excellente façon de vous aider à travailler Simplifier et vous aider à travailler plus efficacement. Cependant, ces données sont trop simplifiées « succès » cette chose, comment pourrions tous utiliser quelques conditions simples, les moyens numériques hors de lui.

• Par exemple, votre revenu est élevé, mais vous ne aimez pas votre travail. Que vous réussir?

• Par exemple, votre papier est souvent cité, mais vous ne cause aucun impact réel sur le monde réel. Que vous réussir?

• Par exemple, vous avez des milliers d'adeptes, mais personne dans le point dynamique après avoir lu vos louanges de message. Que vous réussir?

• Par exemple, vous obtenez une course dans la machine d'apprentissage tout premier rang, mais vous secrètement prend avantage des vulnérabilités dans les données, sur les autres concurrents et la surface supérieure du même. Que vous réussir?

En fait, difficile de dire quand vous voulez atteindre un certain nombre et le travail, et quand ils ne le font pas. À mon avis, si vous voulez « portée numérique » et « difficile à l'emploi de mesure » dans (comme l'étude des nouveaux produits, plutôt que de vendre plus de l'ancien produit) de faire un choix, le goût de la société tout entière sont fortement biaisé vers la réalisation de numérique côté. Apprentissage machine aussi bien.

Quand je me sens comme si quelqu'un « efforts pour parvenir à un certain nombre « de l'époque, mon esprit émergera de la scène de la course. Il y a une très belle, cheval très forte, grâce à la formation des personnes, il peut courir très vite. Ensuite, si elle obtient un bon classement dans le jeu, il donnera incitation des gens à manger des carottes (je ne suis pas sûr que le cheval n'est pas particulièrement friands de carottes, mais pour la commodité de mes histoires, on oublie que le favori du cheval est la carotte bar). Pour elle couvrira le champ de vision des côtés gauche et droit du cheval l'attention du cheval complètement concentré sur la cible, les yeux des gens à cheval portant des illères, afin qu'ils ne voient l'avant. Maintenant que ces courses de chevaux, chacun de nous avec un bandeau sur les yeux, afin que nous puissions « aveugle » à uvrer pour l'évaluation. Mais plusieurs fois, si nous regardons autour de, peut-être le bord de la piste est un terrain sans surveillance de la carotte.

En tant que membre de l'apprentissage de la machine dans ce domaine, nous avons une concurrence trop longtemps dans le jeu mal d'apprentissage de la machine à l'intérieur. Nous devons enlever la tête de oeillères. Alors j'écris ce blog, je l'espère inspirer plus de gens à prendre leurs lunettes, et l'espoir des préoccupations dans ce domaine ne peut plus se limiter à la performance du modèle, et a commencé à accorder plus d'attention aux données, d'interprétation, et des scénarios sociaux impact.

via https://bentoml.com/posts/2019-04-19-one-model/, Lei Feng réseau compilé AI Technology Review.