Lei Feng note de réseau AI Technology Review: ce blog de Jetpac (aujourd'hui racheté par Google) CTO, diplômé de pomme, membre de l'équipe tensorflow Pete Warden. Cet article présente un problème facilement négligé dans le domaine du personnel de recherche d'apprentissage machine qui: Êtes-vous vraiment comprendre les données ont peu d'impact sur les performances du modèle, et vous ne payez pas l'attention nécessaire à l'amélioration de vos données? Le modèle a été développé pour l'environnement de production des chercheurs pensent que cette question a été suffisamment d'attention, mais veut aussi nous rappeler de la pensée importante d'entre eux.

Titre original « Pourquoi vous avez besoin d'améliorer vos données de formation, et comment le faire, » Lei Feng réseau AI technologie texte critique compilé comme suit.

Andrej Karpathy (auteur char-RNN, https: //twitter.com/karpathy) dans (https://www.figure-eight.com/train-ai/) Discours de conférence "Train AI" quand mettre cette toboggan, je l'aime! Il glisse capte parfaitement la différence entre la profondeur de recherche sur l'apprentissage et la production industrielle (étude de doctorat tard dans la nuit alors que la plupart sont en du modèle Mais la plupart demeurent toute la nuit dans l'entreprise est traitement des données ). orientation scolaire presque tous les novateurs, la performance a sur le modèle de mise à niveau, et ils utilisent des ensembles de données publiques sont souvent une petite partie de l'ensemble de données. Cependant, pour autant que je sache, l'utilisation des technologies d'apprentissage en application pratique approfondie des gens ont tendance à passer beaucoup de temps à analyser leurs données de considérer la formation.

L'architecture du modèle des chercheurs est donc préoccupé par les raisons sont nombreuses, mais il a également des moyens, peut-guide d'aide à utiliser dans un environnement de production est très peu d'informations sur l'apprentissage de la machine. Pour résoudre ce problème, le sujet de mon discours à l'Assemblée générale sur le train AI est « l'efficacité des données de formation ne peut pas être expliqué, » et dans ce blog, je veux élargir davantage ce sujet, expliquer pourquoi les données est si important d'introduire une certaine améliorer les compétences pratiques des données.

Dans le cadre de mon travail, j'ai eu une étroite collaboration avec de nombreux chercheurs et équipes de produits. Quand j'ai vu qu'ils se concentrent sur les améliorations du processus de construction du modèle de données, et ainsi fait beaucoup de réalisations, je suis convaincu que sera la puissance des données améliorées. Dans la plupart des applications, Utilisez la profondeur des technologies d'apprentissage est le plus grand obstacle à l'obtention d'un assez grande précision dans le monde réel, et d'améliorer l'ensemble des données de formation est le moyen le plus rapide possible d'améliorer la précision de ce que je vois . Même si vous êtes limité par des facteurs retardés, l'espace de stockage, d'améliorer la précision sur un modèle particulier vous permet également d'être en mesure de compromis sur ces indicateurs de performance grâce à l'utilisation d'une petite architecture du modèle.

commande vocale

Ici, je ne peux pas partager publiquement mes systèmes d'observation pour la production industrielle, mais j'offre un exemple open source pour tout le monde pour démontrer le même schéma. L'année dernière, j'ai créé un « exemple simple de reconnaissance vocale » (https://www.tensorflow.org/tutorials/audio_recognition) dans un environnement de tensorflow. Les résultats ont montré qu'aucun ensemble de données existantes peut facilement être utilisé pour former le modèle. Avec l'aide généreuse d'un grand nombre de bénévoles à l'aide de l'équipe AIY pour me aider dans le développement de « site d'enregistrement vocal ouvert » (https://aiyprojects.withgoogle.com/open_speech_recording), j'ai rassemblé un humain deuxième temps 60000 il a dit des clips audio courts de mots. Le modèle résultant est disponible, mais je n'a toujours pas atteint le degré de précision souhaité. Afin de voir dans quelle mesure cette situation est due à mes propres défauts en tant que concepteur de modèle, j'utilise le même ensemble de données a organisé un concours Kaggle (https://www.kaggle.com/c/tensorflow-speech -reconnaissance-challenge /). Les participants de la performance du modèle que mon modèle simple est beaucoup mieux, mais même si il y a beaucoup de méthodes différentes, et plus d'équipes cesseront à la précision d'environ 91%. Cela me dit qu'il ya des erreurs dans les données sur la nature du problème. En fait, les participants ont également trouvé beaucoup d'erreurs ou tronquées, comme son étiquette incorrecte. Cela m'a incité à commencer une pratique mise à jour corrige un candidat à problème a trouvé un nouvel ensemble de données et de fournir davantage d'échantillons.

Je vois les résultats de mesure d'erreur binaire, pour comprendre ce que le modèle le plus de problèmes pour les mots existants. Les résultats montrent que catégorie « autres » (voix peut être identifiée, mais n'a pas pu trouver les mots appropriés dans un modèle de vocabulaire limité) sont particulièrement sujettes à l'erreur. Pour résoudre ce problème, j'augmenté le nombre de mots différents de notre capture, offrant une plus grande diversité aux données de formation.

Comme les participants Kaggle ont déclaré marqué la mauvaise question, je crowdsourcing un processus de vérification supplémentaire, demander aux gens d'écouter chaque clip audio, et assurez-vous qu'il correspond à l'étiquette souhaitée. Comme les participants du concours Kaggle a également certains presque silencieux ou être coupé fichier audio, je l'ai écrit un utilitaire pour effectuer une analyse audio simple (https://github.com/petewarden/extract_loudest_section), et la suppression automatique des échantillons de qualité particulièrement pauvres. Finalement, grâce aux efforts des bénévoles et quelques-uns payé plus ensemble foule d'accès qui, malgré la mauvaise qualité du fichier supprimé, je vais augmenter le nombre d'échantillons vocaux à plus de 100.000 exemplaires de l'échelle.

Afin d'aider les autres à utiliser l'ensemble de données (et d'apprendre de mes erreurs!) Je serai le résultat de tout le contenu pertinent et la précision de la mise à jour a rédigé un document (https://arxiv.org/abs/1804.03209 ) dans. La plus importante conclusion est que, dans le cas de changer complètement la structure ou les données d'essai de modèle, d'abord d'améliorer la précision de plus de quatre points de pourcentage, passant de 85,4% à 89,7%. Ceci est une amélioration significative, et quand les gens essaient de venir en framboise ou démonstration d'applications Android, des résultats beaucoup plus satisfaisants. Même si je sais que je ne suis pas les modèles les plus avancés actuellement en usage, mais je crois fermement que si je mets le temps est consacré à l'adaptation du cadre de modèle, je ne l'aurais pas fait si grande amélioration.

Dans un environnement de production, je vois cette approche encore et encore de très bons résultats, mais si vous voulez faire la même chose, mais il ne peut pas démarrer. Vous pouvez vous inspirer des techniques que j'utilise des données de voix, mais, je vais vous présenter quelques-unes des façons dont je pense est très pratique.

D'abord, regardez vos données

Cela peut sembler évident, mais la première chose que vous devez faire est de parcourir au hasard les données de formation, vous souhaitez commencer à utiliser. Vous devez copier les fichiers sur votre ordinateur local, puis passer quelques heures prévisualisez. Si vous voulez traiter des images, vous pouvez utiliser des outils tels que le Mac OS Finder pour faire défiler l'affichage des vignettes, afin que vous puissiez voir rapidement des milliers d'images; Pour les fichiers audio, vous pouvez utiliser le viseur playblast; ou pour les fichiers texte, des fragments aléatoires videra votre terminal. Je n'ai pas passé assez de temps sur la première version du système de commande vocale de l'opération, ce qui est précisément la raison pour laquelle les participants une fois concours Kaggle les données pour lancer le traitement trouvé tant de problèmes.

Je me suis toujours senti que ce processus un peu bête, mais je ne l'ai jamais regretté après l'arrivée. Chaque fois que je termine ces travaux de traitement de données, je trouve certaines des données chose essentielle, que ce soit le nombre de différents types de déséquilibre échantillon, des données corrompues (telles que l'extension du fichier PNG marqué sous forme de fichiers JPG), comme à tort tagged ou simplement des combinaisons surprenantes de données. Par un examen attentif, Tom White a fait de nombreuses découvertes intéressantes dans le IMAGEnet. Par exemple:

Étiquette « ( » sunglass des lunettes de soleil), en fait, il se réfère à un moyen pour amplifier les anciens rayons solaires (ci-dessous)

Le IMAGEnet la « sunglass » et « lunettes de soleil » (lunettes de soleil) créent beaucoup de confusion (catégorie d'image gauche est étiquetée « sunglass » la bonne catégorie pour « lunettes de soleil », Tan Shou)

Labellisé « camion à ordures » (camions à ordures) de classification, il y a une belle photo

Labellisé « manteau » (manteau) de l'image semble avoir un parti pris contre matrice femelle

En outre, Andrej manuellement sur IMAGEnet l'image de la classification des emplois ( sur-IMAGEnet /) m'a appris beaucoup de connaissances sur l'ensemble des données, y compris la façon de distinguer entre tous les différents types de chiens, même pour une personne.

Avant les actions que vous prendrez cela dépend de ce que vous trouvez, mais à faire toute autre donnée des travaux de nettoyage, vous avez toujours besoin de faire ce contrôle, puisque le contenu de l'ensemble de données pour la compréhension intuitive peut vous aider à l'étape suivante à prendre les bonnes décisions.

sélectionner rapidement un modèle

Ne pas prendre trop de temps pour choisir le modèle approprié. Si vous faites la classification d'images, s'il vous plaît voir AutoML (https://cloud.google.com/automl/), sinon vous pouvez jeter un oeil sur le modèle du tensorflow d'entrepôt (https://github.com/tensorflow/models/) ou rapide. AI collection d'échantillons ( directement à votre modèle de produit et résoudre des problèmes similaires. Il est important de commencer dès que possible itération, de sorte que vous pouvez tôt et souvent de laisser les utilisateurs réels pour tester votre modèle. vous avez toujours pouvoir et possible Voir de meilleurs résultats, mais vous devez d'abord faire en sorte que les données ne sont pas un problème. étude approfondie toujours suivre la « obtenir des ordures dans ordures » (garbage in, garbage out) des règles de calcul de base, de sorte que même la meilleure performance du modèle sera également limiter vos défauts de données de formation. En sélectionnant un modèle et de tester eux, vous serez en mesure de comprendre ce que ces ces défauts sont, et commencer à les améliorer.

Pour accélérer davantage la vitesse itérative de votre modèle, vous pouvez essayer d'un déjà pré-formé sur un modèle à grande échelle des ensembles de données existants bon début, par transfert d'apprendre à utiliser votre collectées (probablement beaucoup plus faible) des données Je l'ai mis à l'écoute. Ceci est généralement le résultat de beaucoup mieux formés que simplement obtenir dans vos ensembles de données plus petits, afin que vous puissiez rapidement les données sur la façon de Collectionnez ajuster votre stratégie a une compréhension claire. La chose la plus importante est que vous pouvez vous pouvez envisager avec vous dans vos résultats de la rétroaction des processus de collecte de données, de manière à régler dans le processus d'apprentissage, plutôt que juste avant la formation de la collecte de données appelée une seule opération de scène.

Avant de leur propre modèle l'imiter

La plus grande différence entre le modèle établi la recherche académique et le modèle de la production industrielle que la recherche universitaire est généralement définie au départ une déclaration claire du problème, mais avec l'utilisation des besoins réels du présent dans l'esprit de l'utilisateur, et seulement avec le passage du temps est devenu peu à peu évident. Par exemple, pour Jetpac, nous espérons trouver une bonne image, il montrera dans les guides d'auto-assistance de la ville.

Ceci est un exemple d'extrême, mais il illustre le processus d'étiquetage de la demande dépend en grande partie de l'application. Pour le cas d'utilisation plus de la production, le modèle doit répondre à trouver les bonnes questions prend beaucoup de temps, ce qui est la bonne solution au problème est crucial. Si vous répondez aux mauvaises questions avec votre modèle, vous ne serez jamais en mesure de construire une bonne expérience utilisateur dans cette base moche.

Je trouve que la seule façon de déterminer ce que vous posez la question de savoir si une bonne façon est de simuler votre application, plutôt que de créer un modèle d'apprentissage de la machine de la participation humaine à la prise de décision. Parce qu'il ya des êtres humains derrière dans la prise de décision, l'avantage de cette approche est appelée « Magicien d'Oz-ing. » Pour Jetpac, nous permettons à l'utilisateur de sélectionner manuellement une image à partir d'un certain nombre de guides Voyage échantillon, plutôt que la formation d'un modèle, puis d'ajuster les critères que nous avons utilisés pour sélectionner une image de la rétroaction des utilisateurs de test. Une fois que nous sommes en mesure de manière fiable obtenir une rétroaction positive de la formation, nous pouvons concevoir nos règles de sélection d'image pour migrer vers un directives d'étiquetage pour obtenir des millions d'images que l'ensemble de la formation. Ensuite, ces données sont utilisées pour former le modèle est capable de prédire l'étiquette des milliards d'images, mais son ADN (l'idée de base) règle les images sélectionnées manuellement à partir de notre design original.

Utiliser des données réelles pour la formation

Dans l'exemple ci-dessus Jetpac, nous avons utilisé pour former le modèle et la source de l'image que nous voulons modèle à l'image du même (la plupart du temps à partir de Facebook et Instagram), mais un problème commun, j'ai trouvé est que l'ensemble de données de modèle de formation et quelques différences importantes dans les données d'entrée utilisées finiront par se refléter dans les résultats de la production.

Par exemple, je vois souvent quelques-uns des problèmes rencontrés équipe essayant d'utiliser le modèle de données IMAGEnet quand une formation sur le drone ou un robot. La raison pour laquelle cela se produit est parce que la plupart des données est en fait l'homme-shoot photo IMAGEnet, et ces photos il y a de nombreuses caractéristiques communes. Ces images sont capturées avec une caméra fixe ou un téléphone mobile, qui utilisent des lentilles neutres, la hauteur est sensiblement parallèle à la balle dans la tête, le tir à la lumière du soleil ou la lumière artificielle, l'objet à marquer est positionné au centre de l'image et au premier plan. Et les caméras vidéo robots de drones, l'objectif a généralement un grand angle de champ, dont la position est non capturé à haute altitude, la lumière est généralement prise sur le terrain sont relativement pauvres, et que l'image est intelligemment mécanisme de positionnement, généralement l'image recadrée. Ces différences signifient que, si vous venez d'utiliser l'image de IMAGEnet modèle de formation et de la déployer sur un dispositif au-dessus, vous obtiendrez une précision inférieure.

Les données de formation finale et les données d'entrée modèle que vous utilisez peut également être quelques différences mineures. Imaginez que vous construisez une caméra de la faune peut reconnaître et utiliser des ensembles de données sur les animaux de partout dans le monde pour le former. Si vous prévoyez de le déployer dans la jungle de Bornéo, l'image doit être marqué comme la probabilité de pingouins sera extrêmement faible. Et si les données de formation contient des photographies de l'Antarctique, le modèle sera susceptible d'être confondu avec un tout autre pingouin animal, le taux de précision du modèle sera inférieure à la précision du temps ne pas utiliser cette partie des données de formation.

Il y a plusieurs façons que vous pouvez faire sur la base des connaissances antérieures connues (par exemple, dans la jungle, une réduction significative de la probabilité de l'image est pingouin marqué) pour calibrer vos résultats, mais l'utilisation de produits qui reflètent la véritable scène des rallyes formation plus efficace. J'ai trouvé la meilleure façon est de toujours utiliser les données obtenues directement à partir de l'application pratique de cette méthode Oz peut être combiné avec l'assistant je l'ai mentionné ci-dessus. En d'autres termes, dans le processus de formation des gens peuvent prendre des décisions à la place de votre ensemble de données initiales soient étiquetés, même si le nombre de balises pour recueillir des très petites, elles peuvent également refléter l'utilisation réelle, et devrait également être en mesure de répondre à la migration étude préliminaire des exigences de base de l'expérience.

Suivez les mesures de

Lorsque j'ai étudié le système de commande vocale, par exemple, j'ai vu un rapport qui est le plus souvent matrice de confusion lors de la formation. Voici un exemple d'un affichage dans la console:

,

,

,

,

Pour ,

Pour

De >

Cela peut sembler un peu déroutant, mais il est en fait une table pour afficher les détails du réseau mal classés. Ici, nous allons montrer une version plus agréable esthétiquement:

Chaque ligne de la table représente un groupe du même échantillon avec l'étiquette proprement dite, le numéro d'étiquette des résultats prévus indiqués dans chaque colonne. Par exemple, la ligne en surbrillance représentent tous les échantillons audio réellement silencieux, si vous pouvez voir la prédiction de l'étiquette de gauche à droite pour lire la ligne du résultat est tout à fait correct, parce que chaque balise de prédiction tombe sur les prévisions échantillon silencieuse colonne audio. Cela nous indique que le modèle est très bon à identifier correctement les vrais échantillons audio silencieux, il n'y a pas d'erreur judiciaire. Si nous regardons la perspective d'une colonne entière de ce tableau, les première colonne affiche le nombre échantillon de clips audio est prévu pour être silencieux, nous pouvons voir un mot clip audio se trompe silencieux, apparemment celui-ci a beaucoup de erreur judiciaire. Ce résultat est très utile pour nous, car il me fait observer plus attentivement ceux qui ont été mal classés comme fragments d'échantillons audio silencieux, et ces fragments et dont beaucoup sont enregistrés dans un environnement assez calme. Il m'a aidé à améliorer la qualité des données en supprimant le volume inférieur du clip audio, et s'il n'y a pas la moindre idée de la matrice de confusion, je ne sais pas comment y faire face.

La quasi-totalité résumé des prévisions sont susceptibles d'être utiles, mais je pense que la matrice de confusion est un bon compromis, il fournit plus d'informations que les chiffres donnés juste précision, mais ne contient pas aussi trop de détails, Je ne peux pas gérer. Pendant la formation, l'observation du changement numérique est également utile, car il peut vous dire le modèle essaient d'apprendre quelles catégories, et vous permet de savoir quand le nettoyage et l'expansion des ensembles de données qui ont besoin d'attention domaines.

Plume ensemble du troupeau

Mon genre préféré de comprendre la façon d'interpréter la façon dont ma formation de réseau de cluster de visualisation de données. TensorBoard fournir un bon soutien à cette méthode d'exploration, même si elle est souvent utilisée pour voir le mot intégré, mais je l'ai trouvé adapté à la technologie embarquée presque toutes les couches de réseau comme le même travail. Par exemple, la classification d'images avant la connexion réseau final complet ou unité softmax a habituellement peut être utilisé comme l'avant-dernière couche (ce qui est exactement comme « tensorflow pour Poètes » (représenté https://codelabs.developers.google.com EMBEDDED / codelabs / tensorflow-pour-poètes / # 0) fonctionne de manière simple exemple d'apprentissage de migration). Ceux-ci ne sont pas intégrés au sens strict, parce que nous n'avons pas essayé de vous assurer que vous avez un idéal de ce que vous voulez dans des biens immobiliers intégrés dans l'espace lors de la formation, mais leur regroupement vectoriel n'obtenir des résultats intéressants .

Pour un exemple pratique, devant une équipe et je travaille ensemble dans leur modèle de classification d'image confusion des taux d'erreur élevés pour certains animaux. Ils utilisent des techniques de clustering visuelles pour observer comment leurs données de formation est distribué aux différentes catégories d'aller, quand ils voient le « Puma » Ils voient clairement les données de découverte est divisée entre les deux il y a une certaine distance les uns des autres différents groupes

La figure est vu de ses résultats de clustering. Une fois que chaque groupe de photos affichées, on voit bien qu'il ya beaucoup de voitures de marque « Jaguar » ont été incorrectement étiquetés comme Puma. Une fois qu'ils savent, ils seront en mesure de vérifier le processus d'étiquetage, et se rendit compte que le personnel de l'interface d'orientation et l'utilisateur est source de confusion. Avec ces informations, ils seront en mesure d'améliorer le processus de formation (humains) sont marqués et outils de réparation des problèmes effacera toutes les images de la catégorie voiture de jaguar, il est le modèle à atteindre un taux de précision de classification plus élevé dans cette catégorie .

En vous permettant de comprendre le contenu de votre ensemble de la formation, le regroupement offre les mêmes avantages que les données observées, mais le réseau est en fait pour guider votre exploration par l'apprentissage en fonction de leur propre compréhension des paquets entrants. En tant qu'êtres humains, nous sommes très bons pour trouver des anomalies visuelles, notre intuition sera donc et beaucoup d'entrée de puissance de traitement informatique combinée fournir une solution hautement évolutive pour la collecte de données pour le suivi des problèmes de qualité. TensorBoard sur la façon de compléter ce travail tutoriel complet est au-delà de la portée de cet article, pas beaucoup entrer dans les détails. Mais si vous voulez vraiment améliorer la performance du modèle, je vous recommande fortement familiariser avec cet outil.

la collecte de données continue

Je ne l'ai jamais vu une collection de plus de données et la situation ne s'améliore pas la précision modèle, les résultats montrent qu'il ya beaucoup d'études me ont soutenu cette expérience.

Le chiffre de « données de preuve Google est roi, start-ups ont été un pot d'eau glacée versé sur, » montre la taille de l'ensemble de la formation à croître même si l'échantillon contient des centaines de millions, la précision du modèle de classification d'image est également en hausse . Facebook a récemment procédé à une analyse plus approfondie l'exploration, ils utilisent des milliards tagged images Instagram pour obtenir un nouveau plus haut record de précision sur la tâche de classification d'images IMAGEnet marqué par # ( « quand émis selon les États-Unis, mais aussi contribuer à améliorer l'identification d'image Facebook taux yo « ). Cela suggère que, même si la tâche a grande échelle, des ensembles de données de haute qualité, une augmentation de la taille de l'ensemble de la formation peut encore améliorer les performances du modèle.

Cela signifie que tant qu'il est un utilisateur peut bénéficier d'une précision du modèle supérieur, vous avez besoin d'une amélioration de la collecte des données politiques durables. Si oui, vous pouvez chercher des moyens créatifs pour profiter de même des signaux très faibles pour obtenir des ensembles de données plus importants. Facebook Instagram en utilisant la balise est un bon exemple. Une autre méthode consiste à améliorer le processus de marquage du renseignement, comme la fourniture de personnel à l'étiquette par les résultats de prédiction de l'étiquette de la version initiale du modèle, afin qu'ils puissent prendre des décisions plus rapidement. Le risque de cette approche est susceptible d'introduire un biais dans les premiers jours, mais en fait nous gagnons les avantages dépassent souvent ce risque. Embaucher plus de gens pour marquer les nouvelles données de formation pour résoudre ce problème, en général un comportement d'investissement vaut la peine, mais pour les organisations traditionnelles telles dépenses pas de budget, il peut être très difficile. Si vous utilisez un organisme sans but lucratif, laissez vos partisans fournissent volontairement des données plus facilement grâce à des outils communs, cela peut être un bon moyen d'augmenter la taille de l'ensemble de données dans le cas sans augmenter les dépenses.

Bien sûr, pour toute organisation, la meilleure solution est qu'il devrait y avoir un produit qui peut naturellement générer des données plus marquées dans l'utilisation. Bien que je ne suis pas trop préoccupé par cette idée, car il est pas applicable dans de nombreux cas réels d'utilisation, après tout, les gens veulent juste obtenir la réponse le plus tôt possible et ne veulent pas participer au complexe marqué le processus. Si vous exécutez une entreprise de démarrage, c'est un bon investissement, car il est comme une amélioration du modèle de la machine à mouvement perpétuel, mais quand le nettoyage ou les données améliorées vous entraînera inévitablement des coûts unitaires. Ainsi, les économistes finalement choisiront souvent un programme libre que le vrai regard d'une version commerciale crowdsourcing peu plus cher.

risques potentiels

L'impact de l'erreur de modèle d'utilisateur de l'application a provoqué presque toujours supérieure à l'impact de la perte de la fonction qui peut être capturé. Vous devriez envisager à l'avance le pire résultat possible, la ligne de fond et essayer de concevoir un modèle pour prévenir leur apparition. Il peut juste être un faux positif parce que le coût est trop élevé et ne veulent pas le modèle liste noire pour prédire les catégories, ou vous pouvez avoir un algorithme de règles simples pour faire en sorte que les mesures prises ne dépassent pas certaines limites déjà défini un bon paramètres. Par exemple, vous maintiendrait le vocabulaire jurant que vous ne voulez pas une sortie du générateur de texte, même si elles existent dans l'ensemble de la formation. Comme ils apparaissent dans votre produit, il est très approprié.

Quel sera le résultat à l'avance à quel point ne sont pas toujours si évident, si des erreurs du monde réel pour apprendre est essentiel. Faites un peu mieux, l'un des plus simple est une fois que vous avez un produit semi-fini quand il utilise le mauvais rapport. Lorsque les gens utilisent votre application, si elles ne reçoivent pas les résultats qu'ils veulent, ils peuvent facilement vous dire. Si possible, vous avez besoin d'une entrée de modèle complet, mais ils sont le temps des données sensibles, sachant simplement ce qui est mauvais est ce que la sortie sera également aider à guider votre enquête. Ces catégories peuvent être utilisées pour sélectionner Collect plusieurs sources de données, et vous devriez apprendre à connaître leur étiquette actuelle qui catégories de qualité. Une fois que le nouveau modèle d'ajustement, en plus de jeu de test normal devrait également produire des résultats défavorables avant l'introduction d'un test séparé. En tenant compte des indicateurs individuels ne peuvent jamais capturer complètement tous les gens se soucient de contenu de cette galerie mal est similaire aux cas de tests de régression, et fournit une méthode de suivi que vous pouvez utiliser pour améliorer l'expérience utilisateur pour vous. En observant quelques exemples dans le passé a déclenché une forte réaction, vous avez des preuves indépendantes pour montrer que vous fournissez en fait un meilleur service à vos clients. Si vous ne pouvez pas car il est trop sensible modèle de données d'entrée d'acquisition de données peut être utilisé à l'intérieur ou des expériences de tests internes pour déterminer quelle entrée produira l'erreur, puis remplacer les ensemble de données de retour d'entrée.

Ce court vécu il?

J'espère avoir réussi à vous convaincre de passer plus de temps sur la préparation et le traitement des données, et fournit quelques idées sur la façon d'améliorer pour vous. À l'heure actuelle ce domaine n'a pas été donné l'attention voulue, je crois même que j'ai parlé dans cet article, nous sommes aussi que superficielle, je remercie tous ceux qui ont partagé leurs stratégies de recherche avec moi, je l'espère à l'avenir, je pouvais entendre plus de nouvelles au sujet de votre approche a été appliquée avec succès dans. Je pense qu'il y aura de plus en plus d'organisations pour mettre en place une équipe d'ingénieurs travaillant pour améliorer la collecte de données, plutôt que la machine chercheurs apprendre à promouvoir la recherche dans ce domaine. Je me réjouis de voir tout le champ et être en mesure de bénéficier de ces progrès. Je suis souvent surpris par le modèle fonctionne bien même sur un ensemble de données a des défauts graves, donc je ne peux pas attendre de voir les données que nous améliorations, que pouvons-nous faire!

via petewarden.com, Lei Feng réseau compilé AI Technology Review