Source: Vision Chine
Les cours en ligne dans les médias titane « titane confessé » n ° 43, nous avons invité trois titane-off, avec la pensée de tout le monde « guerre homme-machine » après AI go. Une période titane-off, la vague de l'intelligence artificielle architecte en chef Chang Ching Le « MIC calcul haute performance Guide de programmation », l'auteur, l'un du cadre informatique concepteur Caffe-MPI open source apprentissage en profondeur. Et a conduit l'achèvement de la voix, la vidéo, la sécurité, le projet GPU apprentissage en profondeur, et le HPC traditionnel, de la vidéo et d'autres grands sens multiples multi-core CPU données, GPU, MIC, les projets informatiques FPGA.
Adapté de Zhang Qing Partager titane franc. Si vous n'êtes pas un utilisateur Pro titane médias, titane veulent franchement voir tous les produits secs, dans l'échange de titane franc de neuf groupes professionnels, et l'examen des données professionnelles plus étendues et des informations, vous pouvez visiter: http: //www.tmtpost.com/pro inscrire .
Selon Chang Ching dans la confession suivante de finition titane Partager enregistrement:
Bonjour à tous, je suis de la vague Chang Ching, je vous remercie beaucoup de titane convier les médias, aussi, remercier merveilleux de partager deux experts de l'aube et IFLYTEK avant, aujourd'hui je partager le thème des solutions informatiques pour l'IA programme.
Avant de partager mon premier coup d'il sur la vague de travaux sur l'intelligence artificielle. Vague de systèmes avancés de calcul intelligence artificielle et fournisseur de solutions, a calcul des produits de la recherche et le développement de l'intelligence artificielle, la construction de système informatique, conception de logiciels, le fonctionnement du système et les capacités des services de maintenance, avec la fin complète à la solution de fin de l'intelligence artificielle, matériel informatique et système logiciel produit et de service d'application, largement utilisé dans le domaine de la technologie de l'intelligence artificielle de l'Internet, la vague de grande échelle des produits d'équipement informatique en occupation marché de l'Internet en Chine taux de plus de 80%, devenant ainsi la première marque de l'intelligence artificielle fournisseur de matériel informatique de la Chine.
La tendance de développement de la grippe aviaire
L'humanité a passé trois révolution technologique - l'âge de la vapeur, l'âge et l'âge électrique de l'information, l'apparition de chaque révolution technologique a apporté des changements considérables et de progrès pour la communauté. ère AI est arrivé, il pourrait devenir la quatrième révolution technologique. Nous examinons ici les tendances du marché AI, les applications industrielles, la technologie.
- les tendances du marché AI
Un marché est en plein essor, nous avons constaté que le montant des investissements au cours des dernières années dans l'intelligence artificielle 2012-2016, un taux de croissance annuel moyen de plus de 50%, à partir de 2016, son investissement est élevé à 4,25 milliards $, AI près le taux de croissance annuel moyen du nombre de fusions et acquisitions et introduction en bourse de 49,85% en 2016 a atteint 68 en 2020 la taille du marché global AI atteindra 48 milliards $. (Source: CB Insights)
- AI demande des tendances de l'industrie
En 2011, Google et expert en matière de reconnaissance vocale de Microsoft Research a utilisé le taux d'erreur de reconnaissance vocale du réseau de neurones de direction profondeur de 20% à 30%, ce qui constitue une avancée majeure dans la recherche de reconnaissance vocale a été fait depuis longtemps dans la région. En 2012, la profondeur des réseaux de neurones dans des applications de reconnaissance d'image a également reçu des progrès significatifs dans l'évaluation du problème IMAGEnet taux d'erreur initiale a diminué de 9%, avec le succès énorme AI dans le discours et la reconnaissance d'image, de plus en plus de l'industrie Internet Les utilisateurs commencent à appliquer AI . Depuis le début de 2015, les industries traditionnelles des utilisateurs de plus en plus ont commencé à appliquer AI, tels que les sociétés de financement, sociétés médicales, les constructeurs automobiles et les entreprises de sécurité et ainsi de suite. Cette année, nous voyons aussi beaucoup d'utilisateurs informatiques scientifiques traditionnels ont commencé à étudier les techniques d'IA, telles que l'exploration pétrolière et les utilisateurs météorologiques, l'utilisation des techniques d'intelligence artificielle pour améliorer la précision de la prévision des applications connexes.
Dans l'ensemble, applications industrielles AI que l'utilisateur a le plus fougueux des utilisateurs de l'industrie Internet, le développement progressif des utilisateurs professionnels et utilisateurs scientifiques HPC Computing .
- tendances technologiques AI
Nous examinons deux exemples, la première image est une reconnaissance de la concurrence IMAGEnet, champion en 2012 modèle de réseau IMAGEnet est Alexnet, calculer le montant de celui-ci est seulement au 8ème étage, la formation requise est relativement faible, tant que chaque image 1.4GFlop, la précision du modèle formé de 84%, ce qui est un taux d'erreur de 16%. En 2015, après trois années de développement, le modèle de réseau IMAGEnet match de championnat a été conçu par Microsoft Resnet, il devient plus complexe, le nombre de couches du modèle à 152 couches, et 19 fois Alexnet de chaque image nécessaire le calcul est considérablement augmenté, atteignant 22GFlop, mais le taux d'erreur a chuté à 3,5%.
Un autre exemple est encore plus alarmant, en ce qui concerne la reconnaissance de la parole. Baidu modèle de reconnaissance vocale conçu en 201425 millions de paramètres, la quantité de données est de 7000 heures de corpus d'apprentissage, le taux d'erreur de 8%. 2015 les données de formation sont les deux fois précédentes, le réseau d'apprentissage en profondeur est quatre fois plus grand d'origine, deux fois la quantité de données, quatre fois la complexité du réseau, le taux d'erreur atteint était de 5%, mais quel prix à payer? Il est de calculer le montant de la croissance.
Ainsi, nous pouvons voir à partir de ces deux exemples, tendance de développement de la technologie AI est vers un grand modèle de données + + grand grand sens de l'informatique, avec une précision d'un modèle de modèle et les données plus sera formé une augmentation substantielle, mais cela nécessite plus de ressources informatiques comme support.
Les défis de AI et de solutions informatiques
AI est confrontée à des défis majeurs dans trois domaines:
Tout d'abord, la nécessité d'obtenir des données suffisamment marquées utilisées pour former le modèle;
En second lieu, la profondeur de la nécessité de concevoir un modèle de réseau de neurones distribués et algorithme;
En troisième lieu, la profondeur de l'apprentissage nécessite une grande plate-forme informatique et de logiciels de gestion de la plate-forme.
Pour trois défis, nous allons de la conception de l'ensemble des quatre niveaux des solutions informatiques AI:
Le premier niveau est la couche de la plate-forme, les différentes caractéristiques du processus de calcul des besoins de l'ensemble de AI, nous allons concevoir la plate-forme de pré-traitement des données, une plate-forme de formation, la plate-forme de raisonnement, en utilisant les différents réseaux et le stockage.
Le second niveau est la gestion, pour la plate-forme informatique complexe, nous avons besoin des ressources pour une gestion raisonnable, la planification, le suivi, l'analyse, besoin d'une plate-forme de gestion du système. Par exemple, la conception d'onde de la plate-forme de gestion de l'apprentissage en profondeur AIStation pour l'apprentissage en profondeur de la scène.
Le troisième niveau est la couche-cadre, maintenant de nombreux framework open-source, comme Caffe, y compris la conception de notre vague de Caffe-MPI, tensorflow Google, Paddlepaddle de Baidu, Microsoft CNTK et ainsi de suite, ces cadres pour aider à résoudre une étude approfondie une partie du processus de formation et de raisonnement.
Le quatrième niveau est la couche d'application, les applications IA ont été mis au point pour les scénarios d'application pratique, certaines applications telles que l'image et des applications de type vidéo, comme les applications vocales, ainsi que le traitement du langage naturel, ces nous scénarios comment utiliser les méthodes et les algorithmes pour effectuer AI atteint.
- Défis et solutions face à la couche de plate-forme
Avant d'aborder la conception de la couche de plate-forme d'applications de processus de calcul AI. D'abord, nous allons recueillir diverses données, telles que les données, les images CT voix, nous vous ferons parvenir les données à la plate-forme pré-traitement des données pour le traitement de l'image tels que le bruit. Après le traitement des données que nous marquage, forment un ensemble d'échantillons de données de formation. échantillons de formation sera envoyé à notre modèle de formation de groupe pour apprendre, qui est, obtenir un modèle intelligent après le processus de formation de modèle, le modèle de formation terminé, ce modèle nous le charger dans un autre terminal, tels que les postes de travail, les téléphones portables, plat, ou qu'une partie de la plate-forme informatique en nuage. Finira par reconnaître le raisonnement intelligente ou les résultats, tels que des images CT déterminera si des lésions, identifier quels dialectes.
Pour nous de comprendre plus à fond sur la grippe aviaire tout au long de la scène, nous donnons des exemples d'images médicales un Google, Google initialement collectées à l'intérieur de l'hôpital données 128000 photos rétiniennes, puis la première de ces photos ont été testés et divisé les données d'image telles que pré procédé, après l'achèvement de la pré-annoter l'ensemble des caractéristiques du fond d'oeil. Prétraitement et l'étiquetage obtenir après avoir terminé l'échantillon de formation ensemble, ces échantillons de formation rallye utiliser une étude approfondie du cadre, tel que le modèle de formation tensorflow modèle formé sera appliqué dans le terminal, comme le téléphone ci-dessus, aide au diagnostic.
Ce scénario utilise la technologie AI pour voir l'effet est très bon, sa sensibilité et la spécificité globales de 0,95, supérieur à 0.91 huit médecins évaluent la valeur du groupe. L'imagerie médicale AI cas typique couvre essentiellement trois processus, qui est, les données pré-traitement, la formation du modèle et le raisonnement pour identifier.
Toutefois, les données de pré-traitement, la formation de modèle et reconnaissance du fait que la fonction de calcul de trois raisonnement est pas le même, comme les données de pré-traitement principalement IO relativement dense, une partie de la quantité relativement faible de calcul, la formation de modèle de calcul intensif, la communication est relativement intensive; raisonnement pour identifier, nécessite une capacité de débit relativement élevée et la réponse de faible latence à un seul échantillon.
Selon l'analyse des calculs AI et les caractéristiques, la couche de plate-forme de conception AI défis qui devront être principalement dans trois aspects:
Tout d'abord, les données de pré-traitement étape, impliqueront un grand nombre de petits fichiers de lecture aléatoire et émettre écriture, la façon d'améliorer l'efficacité de l'accès aux données est le plus grand défi dans les données prétraiter stade.
En second lieu, dans la phase de formation, car elle implique un grand nombre d'ajustement du modèle, nous allons former le meilleur d'un modèle, les ressources informatiques où le besoin est énorme, c'est le deuxième défi.
En troisième lieu, la phase de raisonnement, un échantillon, tel qu'une image ou un échantillon de voix après sur la façon dont nous répondons à temps opportun, des milliers de quantités échantillons au fil du temps, comment améliorer le débit de l'ensemble du système, fait face à la scène de raisonnement défi.
Ainsi, la couche de plate-forme de conception AI nous avons ciblé la conception de plusieurs façons:
1. L'architecture de calcul, CPU + GPU + FPGA en utilisant différents mode mixte disponible dans le commerce, la formation en utilisant GPU P100 / P40, ou FPGA raisonnement en utilisant l'architecture de calcul bas GPU puissance P4.
2. Plate-forme d'architecture de stockage pour la formation, principalement en haute performance de stockage distribué Luster, le raisonnement de la plate-forme en ligne, en utilisant l'architecture de stockage HDFS pour la conception.
3. Architecture de réseau, la plate-forme de formation, à grande vitesse réseau d'interconnexion IB, raisonnement pour les plates-formes en ligne, car il n'a pas besoin de communiquer entre chaque nud de calcul, la bande passante réseau requise n'a pas besoin si élevé, si généralement adopté Wan billions de dollars. 4. Le modèle de calcul de la plate-forme de formation, alors que si une pluralité de noeuds distribués parallèlement aux méthodes de formation, telles que l'utilisation du mode de calcul MPI + CUDA; line pour une utilisation Spark / Hadoop + CUDA mode de calcul.
Pour la couche internet, fournir une onde complète support produit AI calcul, tel que le serveur 2 GPU NF5280M4, la ligne principale du raisonnement que l'identification. Outre la formation de soutien de 4 serveur GPU NF5568M4, 8 serveur GPU AGX-2, avec Baidu et notre développement conjoint de rack SR-AI, un seul GPU BOX atteindre 16 parallèle GPU, le coffret entier pour atteindre 64 parallèle GPU. En ligne pour le déploiement à grande échelle, faible consommation d'énergie, nous avons conçu un F10A de carte FPGA, la carte entière peut faire 35 watts la consommation d'énergie, la performance atteint 1.5TFlops. Actuellement, la principale vague de fournisseurs informatiques AI, de nombreux utilisateurs dans l'utilisation de la vague de produits informatiques, dans le grand marché Internet des parts de marché AI de plus de 80%.
- Défis et solutions face à la gestion
Après déployé dans tout le système, les deux noeuds de calcul CPU, mais aussi des nuds de calcul GPU de l'ensemble du système informatique, comment gérer efficacement les défis auxquels ils sont confrontés a plusieurs aspects:
Tout d'abord, pour différentes plates-formes informatiques et périphériques informatiques, comme un processeur, GPU ou FPGA, comment gérer efficacement.
En second lieu, pour différentes tâches informatiques et cadre de calcul, comment procéder à un calendrier raisonnable.
En troisième lieu, pour l'ensemble du système et divers emplois informatiques, comment effectuer le suivi.
Rencontrez ces trois défis, la conception des vagues du système de gestion de l'apprentissage en profondeur AIStation peut atteindre cinq fonctions: suivi du déploiement rapide du cadre d'apprentissage profond, l'apprentissage de la profondeur de tâches de gestion et de formation, GPU de planification et de ressources CPU, les ressources système et l'état de santé, analyse des caractéristiques de l'application.
- Cadre défis et solutions faces de la couche
À l'heure actuelle de cadre open source d'apprentissage en profondeur est très grande, comme Caffe, tensorflow, MXNet, la flamme et tant de cadres, comment choisir? Sélectionnez un cadre ou choisir une variété? Et pour quel genre de scène ou d'un modèle à choisir quel type de cadre, quelle quantité de données pour, sélectionnez l'image de machine parallèle multiple. Ce sont plusieurs défis auxquels nous sommes confrontés pour le cadre de l'apprentissage en profondeur.
Nous avons choisi le délai peut effectivement faire un examen pour une partie du cadre dominante actuelle, avant nous avons effectué un test commun avec des sociétés Internet bien connus aux États-Unis, le cadre de l'apprentissage en profondeur, ils prennent soin de faire une évaluation.
Nous avons mis trois cadre mainstream Caffe, tensorflow et MXNet pour déployer notre plate-forme de serveur BOX 16 GPU ci-dessus, en utilisant ensemble de données IMAGEnet, le test Alexnet et GooLeNet deux réseaux typique. Lors de l'exécution de résultats du test réseau Alexnet, Caffe meilleures performances, vous pouvez atteindre le nombre d'images par seconde formation 4675, 16 accélérée par le GPU GPU unique que le ratio de 14 fois, suivi par MXNet, enfin tensorflow. Lors de l'exécution GooLeNet, MXNet meilleures performances, le nombre de photos par seconde peut être formé jusqu'à 2462, 16 accélérée par le GPU GPU unique que le rapport de 12,7 fois, suivi par Caffe, enfin tensorflow. De ce point de vue de l'évaluation, sur la base d'un autre réseau, le meilleur choix de cadre n'est pas la même chose.
Fondamentalement, il existe un principe généralement être sélectionné: Nous allons sélectionner au moins un cadre d'apprentissage profond basé sur différents scénarios et modèles, il est difficile de dire un cadre qui peut montrer le meilleur dans tous les scénarios, si les zones d'image d'application, principalement Caffe, tensorflow et trois MXNET sorte de cadre. S'il est une voix, vous pouvez choisir CNTK, bien sûr, il y a d'autres cadres. traitement du langage naturel, vous pouvez adopter PaddlePaddle, la formation d'une grande quantité de données, l'utilisation de la formation autonome, puis très longtemps, il peut y avoir plusieurs semaines ou plusieurs mois pour former un modèle, nous avons besoin d'un cadre distribué, comme l'auto-développement vague Caffe -MPI, ce cadre pour obtenir une carte GPU formation parallèle multi-machine. Grâce à des tests, GPU de carte Caffe-MPI 16 utilise la même efficacité de formation de temps peut être mis en oeuvre par seconde pour atteindre 3061, une seule représentation de la carte que l'expansion de 13 fois de 81% d'efficacité, est à peu près deux fois la performance de tensorflow, Caffe- MPI est maintenant open source sur Github, vous pouvez télécharger.
- Défis et solutions face à la couche d'application
défi de la couche d'application face aux aspects suivants:
Tout d'abord, comment utiliser la méthode d'apprentissage en profondeur, améliorer la précision de la reconnaissance, il impliquera le modèle de conception et d'algorithmes, de pré-traitement des données.
Deux, la programmation GPU dans le processus de conception du programme de formation impliquera un code écrit à la partie GPU, par exemple, nous allons ajouter une nouvelle couche, écrire un code CUDA correspondant.
Trois, la programmation FPGA, l'étape d'inférence, la plate-forme FPGA peut avoir besoin d'applications Migrer de la CPU au FPGA ou par programme partiel en utilisant OpenCL sous-jacente langage de description du matériel Verilog, la complexité de la programmation est relativement élevée.
Pour l'application des défis AI, vague mise en place de deux laboratoire commun: Inspur-Intel Chine Laboratoire commun de l'informatique parallèle et Inspur-GPU NVIDIA laboratoire commun ,, FPGA technologies hétérogènes et les applications de la recherche en IA pour le GPU, MIC, nous avons CPU + GPU, CPU + MIC, CPU + FPGA trois technologies hétérogènes, peut aider les utilisateurs à concevoir certains modèles d'algorithmes d'apprentissage en profondeur, GPU migration, MIC, applications FPGA et d'optimisation.
En AI, nous en 2014 a commencé à réaliser avec une partie de la coopération typique des applications utilisateur Internet, comme tentative de recherche application de cartographie, l'algorithme de base est Kmeans, aux utilisateurs d'aider à atteindre de la CPU à migrer sur le GPU, les performances de l'algorithme de base 35X, dans l'ensemble 2,2 fois l'amélioration de la performance des applications. Une autre application est sur le côté de la voix, principalement le modèle de la parole de la formation en utilisant l'apprentissage de la profondeur de la méthode, nous aident les utilisateurs à obtenir la carte GPU version parallèle multi-machines 16 de la version GPU unique, la performance 13 fois, ce qui réduit considérablement la profondeur totale de l'apprentissage et de la formation la mise en uvre de temps prend en charge les mille heures de formation de données vocales.
Il y a un cas dans l'application de la sécurité du réseau, cette application utilise la technologie de l'apprentissage en profondeur, les utilisateurs à obtenir une version de l'algorithme de Python, nous pouvons aider à réaliser la migration et l'optimisation du GPU, un seul calcul GPU, ce qui accélère le processeur de référence de la performance que la version originale 90 fois, en utilisant quatre GPU parallèle, ce qui est 270 fois la performance de référence version CPU.
Le dernier cas est une application de reconnaissance vocale de l'application en ligne, l'utilisation des réseaux de neurones profondeur DNN, correspond à 2,8 fois pour les utilisateurs d'aide à deux performances du processeur et l'optimisation migration DNN de la plate-forme FPGA CPU à la plate-forme, une carte FPGA. Seulement 15,7% de la puissance du processeur, la consommation d'énergie est 18 fois la performance de la CPU.
système AI basé sur quatre niveaux de défis de conception rencontrés et les solutions correspondantes, nous avons conçu l'ensemble des solutions de fin AI pour différentes sources de données, telles que des images, de la vidéo, de la voix, du texte, etc. seront envoyés à notre premier traitement CPU la plate-forme pré-traitement ci-dessus, nous les données pré-finis stockés dans la mémoire partagée jusqu'à, puis la plate-forme de formation de cluster GPU sera lu en parallèle à partir des données de formation stockées dans la formation sur. la plate-forme de formation, nous pouvons utiliser 4 GPU, 8 GPU ou 16 équipements GPU BOX, la plate-forme de formation, nous allons déployer un système de gestion de l'apprentissage en profondeur AIStation et les yeux dans l'outil de ciel. Modèle généré après la fin de la formation, il sera chargé jusqu'à un différents dispositifs informatiques, tels que les postes de travail P8000 GPU, carte FPGA, GPU nuage internet raisonnement AI service identifié. Enfin, pour obtenir une variété de résultats intelligents. Ce bout à bout solution pour nos calculs entiers AI.
Franchement groupe de titane Amis de l'interaction
1. vague de calcul plate-forme pour le développement de l'intelligence artificielle, comme avant la sortie du GX-2, par rapport à d'autres produits informatiques Quelles sont les caractéristiques?
Chang Ching: GX-2 est actuellement le serveur GPU la plus haute densité du monde, il peut insérer 8 cartes GPU dans un espace 2U, les deux peuvent soutenir PCIE, mais aussi le soutien NVLINK 2.0.
2. Les solutions d'onde sont basées GPU, la plate-forme d'intelligence artificielle pour demander vague Zhang de solutions de cloud computing et son architecture d'intégration ou d'un match super et ce le contact? Comment obtenir les données? Il est basé sur le matériel serveur à usage général?
Chang Ching: programmes de formation du modèle d'onde sont principalement des solutions GPU, nous avons raison des solutions FPGA. La vague actuelle de la plate-forme d'intelligence artificielle et ses solutions de cloud computing ou l'architecture de fusion super ne correspond pas à correspondre et lien. Certaines données de la communauté open source, certains des clients, mais aussi une plate-forme de données commune. L'utilisation principale du matériel serveur à usage général, mais aussi avec le développement d'un serveur personnalisé par l'utilisateur, tels que le rack SR-AI.
3. la plate-forme de données publiques se réfère principalement à? Inclure les opérateurs et les autres canaux, non? L'utilisateur est précipité sur les données des utilisateurs de la plate-forme, les utilisateurs finaux ne doivent pas faire face?
Chang Ching: la plate-forme de données commune se réfère principalement à vague Tian Yuan de gros volumes de données, les données gouvernementales ouvertes, les partenaires de la coalition de données, la vague de ses propres données. Les utilisateurs des précipitations sur la plate-forme comme l'utilisation de données expérimentales, les utilisateurs de données ne sera pas face à la scène réelle à un autre utilisateur final.
groupe d'amis: l'équivalent d'une capacité de couche d'application ouverte, l'intelligence artificielle aux développeurs d'applications d'agrégation de plate-forme pour faire, l'accumulation de données utilisateur directement sur la plate-forme.
Chang Ching: ah, l'utilisateur accumule des données expérimentales à la plate-forme.
(Cet article médias de titane débuts exclusifs, finissant dans une action basée sur la vague de titane franchement l'intelligence artificielle architecte en chef Chang Ching)
............................................................
Franchement titane 44: situation actuelle et les opportunités de marché pour les technologies de l'information dans les soins de santé
Détails: http: //www.tmtpost.com/2657202.html
Plus de contenu passionnant, l'attention des médias titane signal de micro (ID: taimeiti), titane ou télécharger les médias App
