8 novembre 2017, à la Convention nationale de Beijing Centre AI MONDE 2017 Conférence mondiale sur l'intelligence artificielle Billet ouvert! Early Bird billets rush billets 50% sur le compte à rebours se précipiter pour ouvrir 4 jours . Rappelez-vous l'an dernier, un billet est difficile AI WORLD 2016 Grand il? Cette année, nous avons invité maître flutter froid « père de Tuomas allé sur le site, et Google, Microsoft, Amazon, BAT, volons audience, Jingdong Huawei et d'autres entreprises ont invités poids lourds confirmé leur présence.
Sur KDD2017, Google a annoncé une nouvelle plate-forme de tensorflow d'apprentissage automatique au niveau du produit TFX massivement évolutive. (Adresse de la thèse: http: //www.kdd.org/kdd2017/papers/view/tfx-a-tensorflow-based-production-scale-machine-learning-platform)
Création et maintenance d'une machine d'apprentissage création et le déploiement modèle de composants de la plate-forme nécessite une coordination attentive multiple, y compris un modèle basé sur l'apprenant de génération de données de formation, le module d'analyse et de validation des données et des modèles, ainsi qu'un modèle de prestation équipements et services.
Lorsque les données changent au fil du temps et nécessitent une production continue d'un nouveau modèle, il devient particulièrement difficile. Malheureusement, cet arrangement est souvent un script personnalisé en utilisant des placages équipe individuelle a développé fin spécial et entraînant la duplication des travaux et un système de haute technologie vulnérable dette.
Google analyse détaillée de la plate-forme d'apprentissage de la machine et son processus de mise en uvre. Il peut être fait en mélangeant les composants dans une plate-forme d'assemblage pour la normalisation, afin de simplifier la configuration de la plate-forme, et le temps de production de plusieurs semaines à plusieurs mois, tout en offrant une plate-forme pour la stabilité, afin de minimiser l'interruption de service.
Dans le document, les auteurs ont présenté une plate-forme d'étude de cas déployée dans la recherche de magasin Play application Google, ainsi que l'afflux de nouvelles données, des modèles d'apprentissage de la machine seront mises à jour en continu. En optimisant les données et l'analyse de modèle, la plate-forme de déploiement pour promouvoir la réduction du code personnalisé, cycle de test plus rapide, l'installation de l'application a augmenté de 2%.
Ce qui suit est un blog acolyer description plus détaillée:
TFX: plate-forme d'apprentissage tensorflow basé sur l'échelle des machines de production
Au cours des dernières années, un produit en ligne de classe mondiale et le développement des services a changé de façon spectaculaire. Nous avons récemment une série de documents concernés peuvent vous aider à comprendre la limite de position.
* Nouvelle ligne de base: Jusqu'à présent, vous avez accepté le test automatisé, intégration continue, la prestation continue, continue peut-être à déployer, et vous avez une innovation qualifiée et progressive, la surveillance des comportements, et arrêt à temps pour arrêter quand il détecte un problème.
* En outre, vous avez mis en place un système complexe d'indicateurs et une plate-forme d'expérimentation continue.
* En raison de la complexité croissante des systèmes, vous pouvez aussi avoir besoin de l'étendre à la plate-forme générale d'optimisation de la boîte noire.
* Mais vous ne l'avez pas fini! Tous vos modèles d'apprentissage automatique optimisés nécessite une formation et des services de validation. Vous avez besoin d'une plate-forme d'apprentissage de la machine. Tel est le thème de l'article d'aujourd'hui, il introduit Google TFX dans la plate-forme d'apprentissage de la machine.
Pourquoi ai-je besoin d'une plate-forme d'apprentissage de la machine?
modèles d'apprentissage machine pour obtenir du code, sauf une petite partie du système d'apprentissage de la machine de production. Nous dans la « Machine Learning: Technologie de la dette de carte de crédit d'intérêt élevé, » un document vu beaucoup de leçons tirées de la mise en place de l'apprentissage de la machine. Et la nécessité de convertir la vérification des données, le modèle d'authentification combinée à la nécessité de vérifier les données, pour éviter indésirables (non vérifiées) dans le modèle de production. Vous devez également une infrastructure de services évolutive. L'élément clé d'une plate-forme d'apprentissage de la machine (TFX), comme illustré ci-dessous:
Figure 1: Vue d'ensemble de la plate-forme d'apprentissage machine pour les composants de haut niveau
Notre plate-forme peut mettre en uvre ces composants, la production des meilleures pratiques peuvent être codées ... par les composants décrits ci-dessus dans une plate-forme, nous pouvons composants standardisés, la configuration de la plate-forme simplifiée, et de raccourcir le temps de production de plusieurs mois à semaine, tout en assurant la stabilité de la plate-forme, afin de minimiser les perturbations.
l'analyse des données, la validation et la conversion
Vous et vos données sont les mêmes. Avant la détérioration de la situation, trouver des anomalies de données, ce qui permettra d'économiser beaucoup de temps.
Les données dans les petites erreurs peuvent être sur une période de temps est difficile à détecter des moyens considérablement réduit la qualité du modèle (quelques-unes des erreurs catastrophiques provoquent faute importante, il est facile de suivre), donc afin d'examiner à long terme, sont tout d'une plate-forme d'apprentissage automatique devrait toujours maintenir la vigilance aux données.
Afin d'établir un changement de base et moniteur, TFX génère un ensemble de statistiques descriptives pour chaque ensemble de données. Ces caractéristiques comprennent l'existence et la valeur des statistiques transversales et peuvent être configurées tranches. Ces statistiques exigent à grande échelle et l'informatique efficace et calcul précis peut être coûteux sur une grande données de formation. Dans ce cas, l'algorithme de débit distribué peut être utilisé pour fournir des résultats similaires.
TFX comprend également un conflit de soutien à la conversion de données. Par exemple, TFX peut générer fonctionnalité appelée « mot » à la mise en correspondance entier. Lorsque la conversion de données ne peut pas être micro-partage entre la formation et le service, il est facile de gâcher les choses. TFX exporter automatiquement toute conversion de données dans le cadre du modèle de formation, afin d'éviter ces problèmes.
Pour effectuer l'authentification, TFX décrit dépend fournir Templated du motif de données attendu. Le modèle décrit la fonction prévue et le type, le prix et les domaines. TFX peut aider les utilisateurs à générer automatiquement la première version de son modèle.
Figure 2: Cas de validation échantillon
TFX fournit à l'utilisateur des informations utiles avertissement anormal.
Nous voulons que les utilisateurs soient en mesure de traiter les mêmes erreurs de données rigoureuses et des erreurs de codage. Afin de promouvoir ces pratiques, nous permettons aux utilisateurs de soumettre des anomalies de données, comme tout ce qui peut être enregistré, suivi et résolu les erreurs logicielles.
formation
Une fois que vous avez le code du modèle (bien sûr, est écrit dans tensorflow in) est intégré dans le TFX, vous pouvez facilement convertir algorithme d'apprentissage. La formation continue et le développement du modèle d'apprentissage de la machine est un cas d'utilisation de la production commune, mais dans de nombreux scénarios, repartir de zéro à chaque fois que le modèle re formation pour le temps et la consommation des ressources sont énormes.
Pour de nombreux cas d'utilisation de la production, la fraîcheur est le modèle critique d'apprentissage de la machine ... Un grand nombre de ces cas d'utilisation ont un vaste ensemble de formation (points de données O (100B)), ce qui peut prendre plusieurs heures (ou jours) de formation ... ce nous devons choisir entre la qualité du modèle et la fraîcheur du modèle. Hot Start est une technologie pratique pour compenser ce compromis, si elle est utilisée correctement, il peut en moins de temps et de ressources consommées pour obtenir la même qualité que le modèle précédent nécessite plusieurs heures de formation pour obtenir le.
TFX construit démarrage à chaud, la fonction de démarrage à chaud pour la fonction de sélection de réseau est également fourni, et a été ouvert en tensorflow. Lors de l'utilisation d'un démarrage à chaud la formation d'une nouvelle version du réseau, les paramètres caractéristiques de l'initialisation de démarrage à chaud correspondant à la version précédente du train miniature, et de là à affiner.
Évaluation et vérification
TFX contient une évaluation des modèles et la validation des composants conçus pour faire en sorte que le modèle avant de fournir des services aux utilisateurs est « bon ».
modèle d'apprentissage de la machine comprend généralement une partie de système importante et complexe des composants d'interagir et de la source de données, ces composants sont généralement étroitement liés. Cela crée un grand appartement, au-dessus, l'erreur de bug peut être prolongée, il peut aussi développer l'interaction à l'accident, et finirait par avoir des modèles d'apprentissage machine à la réduction de la dimensionnalité, au détriment de l'expérience utilisateur du terminal.
Comment promouvoir un nouveau modèle en production? Bien sûr, par le test A / B! Tout d'abord, le modèle a été évalué par des données en continu pour déterminer si elles ont des perspectives assez pour commencer les tests en temps réel, TFX offre des procurations peuvent être approchées métriques d'affaires. Pour être l'expérience A / B spécifique produit dans ce modèle de test, le modèle d'équipe afin de déterminer l'effet réel sur le trafic en temps réel et des mesures commerciales connexes.
Une fois que le modèle est introduit au produit et constamment mis à jour, utiliser la vérification automatique pour faire en sorte que le modèle mis à jour est bon. Nous utilisons un modèle simple d'un processus canari vérifié pour être sûr. Nous modélisons la qualité en comparant un seuil fixe et le modèle de base (par exemple, le modèle de production actuel) pour évaluer la qualité de la prédiction.
Si la vérification de la mise à jour du modèle échoue, il ne sera pas poussé au service et générer des alertes à vos équipes de produits.
service
services tensorflow offrent une solution de service complet qui sera déployé dans la machine de production des modèles d'apprentissage. La production que la demande de services, y compris une faible latence et une grande efficacité. Pour la plupart des modèles, en utilisant le format de données commun tensorflow, mais pour le réseau de données à forte intensité (à forte intensité CPU CPU), tels que le modèle linéaire, un accord spécial avec un analyseur tampon inerte analyse syntaxique construit.
Dans la pratique du système, en accordant une attention particulière pour minimiser la réplication des données. Cela est particulièrement difficile pour les données de configuration sont rares. spécifiques de l'application des résultats de tampon d'analyse de protocole d'accélération de 2-5 fois l'ensemble de données de référence.
TFX et Google Play
Une première équipe de Google Play de la plate-forme de Google TFX, ils seront utilisés pour son système de recommandation. Le système propose l'application pertinente application Android joue lorsque les utilisateurs visitent la page d'accueil du magasin. les données de formation ensemble ayant des dizaines de milliards d'exemple, dans le processus de production, le système doit être des exigences strictes de retard (dizaines de millisecondes) pour des milliers de requêtes par seconde.
Lorsque nous Google Play système de classement de la version précédente à TFX, nous avons vu une augmentation de la vitesse de la nouvelle itération de l'expérience, ce qui réduit la dette technique, améliorer la qualité du modèle.
L'étape suivante
Explicative?
Avec l'apprentissage de la machine de plus en plus répandue, la forte demande d'intelligibilité, le modèle peut expliquer leurs décisions et leurs actions à l'utilisateur (et l'utilisation des obligations légales telles que la nouvelle législation GDPR-AC, etc. dans de nombreux cas). Nous croyons que les enseignements tirés du déploiement de TFX, nous avons appris les bases pour la construction d'une plate-forme interactive pour donner un aperçu plus profondément dans l'utilisateur.
[Cliquez pour lire ou balayer l'achat d'origine La moitié des "Billet Early Bird"]
