Les répondants | dans la mer de Chine orientale

Correspondant | yugao

Produit | RPSC (ID: CSDNnews)

« Théorie de l'écosystème de la technologie AI section » Interview est une partie importante dans le lancement RPSC millions de personnes apprennent l'initiative AI. En haut d'un grand café écologie AI, les entrepreneurs, l'industrie des entrevues KOL reflètent la pensée de l'industrie pour déterminer les tendances futures, la technologie pratique et de l'expérience de la croissance.

Cet article, « sur la technologie écologique AI » série d'interviews dix-huitième, Tencent va ouvrir une vue à grande échelle du cadre de calcul interprétation détaillée Platon, et prédire le cadre de calcul tendance du développement futur.

AI millions de personnes apprennent que vous avez pris! Cliquez ici pour lire l'enregistrement original à partir d'aujourd'hui « 2020 développeurs AI millions l'Assemblée générale », en utilisant le code de réduction « AIP211 », vous pouvez recevoir la valeur libre de 299 yuans billet en ligne en direct Assemblée. 100 édition limitée, premier servi!

En Novembre 2019, souffle lourd Tencent a annoncé le projet open source cinq, y compris un cadre de calcul de Platon. Figure calculée feu pendant un certain temps, avec le développement de 5G, la technologie IdO, et un calcul de la chaleur devrait augmenter seulement. Aujourd'hui, nous allons être Tencent cadre informatique open source de ce diagramme Platon, par exemple, la technologie informatique et les tendances futures chef d'équipe dans la mer de Chine orientale, analyse Figure cadre de calcul intégré avec des micro-canaux haute performance Platon, dans l'espoir de fournir une référence pour les développeurs.

Qu'est-ce qu'un calcul?

Tout d'abord, regardons un calcul du schéma conceptuel. Dans la pratique, nous avons l'habitude différent de calcule FIG ladite reconnaissance d'image et de la technologie de traitement d'image, qui ne fait référence à une image ordinaire et une photographie, mais pour indiquer une relation d'association entre des objets abstraits de structure de données, un sommet ( vertex) et le bord (edge) va être décrite: l'objet représenté par les sommets, les arêtes représentent les relations entre les objets peuvent être extraites en données qui est des données cartographiques décrites à la figure. Figure calcul, consiste à tenter d'exprimer le problème comme un modèle de données et le processus à résoudre.

En termes simples, Figure informatique est l'étude de la façon de calculer efficacement, les méthodes de stockage et de gérer de grandes quantités de données cartographiques et d'autres questions.

Comme les données relationnelles traditionnelles se modelant il y a un défaut, mise à l'échelle horizontale et d'autres questions, et les données cartographiques avec des compétences plus puissantes, et peut être de différentes sources, les différents types d'intégration de données à la même figure dans l'analyse, ont été une analyse indépendante les résultats difficiles à trouver, donc un calcul par l'attention de l'industrie, en particulier dans les réseaux sociaux, les systèmes de recommandation, la sécurité du réseau, la recherche de textes et de champs bio-médical, il est largement utilisé.

Figure cadre informatique Tencent Platon histoire née

Figure de calcul en fait, beaucoup framework open-source, comme un calcul de l'auteur Pregel, Spark GraphX, Hadoop Giraph, etc., pourquoi Tencent a décidé de construire sa propre vision du cadre de calcul il?

Dans une interview dans la mer de Chine orientale Tencent ne me dérange Platon, l'original, parce que le courant dominant de dessin original calcul framework open source si Tencent pour terminer données à grande échelle sur l'ordre d'un calcul, il faut beaucoup de temps ou besoin de beaucoup de ressources informatiques, ce qui est inacceptable. scénario d'affaires Tencent nécessite un grand calcul de la carte à l'échelle doit être achevée dans un temps limité et des ressources limitées. Ainsi, les efforts de haute performance informatique équipe de l'Université de renommée mondiale des universités de Californie, l'Université de Tsinghua, l'Université de Pékin et d'autres composants, connu sous le nom de Platon peut être haute performance distribuée cadre informatique Figure 1 milliard noeuds du graphe calculé est né, pour le calcul graphique national Ajoute un cadre « général. »

A propos de Platon cadre, que vous ne connaissez pas

A propos de Platon, dès le début de la libération, il y avait déjà une variété d'interprétation, mais RPSC examineront et lectures complémentaires de la technologie de Platon pour le développer, vous pouvez dire aujourd'hui.

Platon est Tencent open source de haute performance calcul distribué carte du cadre fournissant de grandes données de la carte à grande échelle de calcul de la carte hors ligne et apprend deux compétences de base.

• support de moteur de calcul figure nouveau mode de communication informatique

Le noyau est un amorces de calcul Platon Moteur, comprenant un partitionnement de graphe, la représentation à niveaux multiples et la figure coordonnées programmant le calcul des modules de communication, conçus pour supporter une interface multi-niveau d'accès le calcul nouveau mode de communication, à partir du bas de l'API, à la bibliothèque d'algorithmes figure, puis pour un trafic spécifique jeu d'outils de carte sur mesure. Au moyen de ces interfaces et la couche d'application, on peut également calculer en ligne avec d'autres résultats Platon algorithme d'apprentissage automatique sont combinés ensemble pour soutenir différents haut d'affaires.

• modèle de calcul de référence Gemini, KnightKing, conception Cyclope de système informatique, etc.

Selon la mer de Chine orientale à des rapports, Modèle de calcul Sur, Platon dessine un système de conception de calcul comprend une pluralité de milieux universitaires Gemini, KnightKing et Cyclope, y compris proposés. Platon moteur de calcul de la figure du modèle de calcul adaptatif clairsemé dense, et pipelining du mode de calcul du modèle de calcul de la mémoire partagée. Étant donné que différents types d'algorithmes de graphes, algorithme processus de mise en uvre très différent, ne peut pas faire un seul algorithme de modèle de calcul pour obtenir une performance optimale de tous, Platon ensuite résumé et affiner l'exécution de différents types d'algorithmes de graphes, a été des modèles calculés et abstraits augmenter progressivement, constamment itération, obtenez les meilleurs séries de modèles informatiques.

• Figure 1 milliard de noeuds de calcul secrets quelques minutes pour obtenir le

L'une des caractéristiques les plus attrayantes de Platon, est que vous pouvez gérer un milliard de noeuds de calcul dans le graphique, un tel processus à grande échelle, ce que les besoins de l'industrie. Comment Platon est d'améliorer le débit et de garantie des données à l'échelle de traitement tout en maintenant la vitesse? En outre, par rapport au cadre open-source Giraph / GraphLab / GraphX / Gelly et d'autres carte informatique grand public, les deux compétences de base Platon est une vue dans l'ordre des données carte calcul et hors ligne dans les données Tencent Tencent indiquent l'ordre d'apprentissage, ces deux capacités comment est fait spécifique?

Dans la mer de Chine orientale, il explique que c'est parce que Platon comme une haute performance calcul distribué carte-cadre, a une bonne évolutivité parallèle, qui est, avec l'augmentation de la taille des données, Plato du cluster à peut ajouter d'autres serveurs à partager des données en parallèle le stockage et l'informatique.

Dans le cadre de la open source originale informatique carte grand public, si vous souhaitez effectuer un calcul de la taille d'un milliard de noeuds, le nombre de jours, il faut beaucoup de temps et de ressources informatiques. Platon par sa conception compacte et aspects optimisation de stockage, de calcul, de communication et de la programmation, les données compressées, d'améliorer l'efficacité de calcul, optimiser la planification de la communication, la consommation de mémoire est réduite de telle sorte que les Platon 1-2 ordres de grandeur GraphX, tout aussi d'améliorer les performances de calcul le calcul de 1-2 ordres de grandeur, ce qui signifie que seuls les petits et les clusters de taille moyenne (10) à des serveurs de données complètes de Tencent dans l'ordre des minutes de la carte ultra-grande échelle.

• moteur de calcul de la figure mécanisme adaptatif algorithme d'appariement automatique

RPSC curieux un autre point, un calcul est Platon adaptatif comment le moteur algorithme d'appariement automatique.

Il a été expliqué dans l'Est, Platon moteur de calcul adaptatif figure désigne le mode de calcul adaptatif clairsemé dense (la première méthode proposée par Ligra), Platon sera automatiquement sélectionné le mode de calcul est effectué en conformité avec le nombre de changements dans les sommets denses actifs pendant l'exécution de l'algorithme ou mode de calcul clairsemée, complétant ainsi l'algorithme d'adaptation automatique.

Platon difficultés d'atterrissage et les points de douleur où?

Figure calculée comme une représentation de l'analyse des données et méthode efficace pour l'analyse des gros volumes de données, les réseaux sociaux sont devenus système de recommandation cruciale, la sécurité du réseau, la recherche de texte, domaines financiers et médicaux et des outils miniers. Par exemple, le tri régulier des pages Web influent pour améliorer l'expérience de recherche de l'utilisateur, l'analyse basée sur la carte cognitive est utilisée pour améliorer la capacité de contrôle des risques financiers, ainsi le développement de la médecine clinique plus efficace pour comprendre les interactions entre protéines par l'appariement sous-graphe, etc., et ainsi de suite.

Cependant, toute nouvelle technologie va inévitablement rencontrer des difficultés à l'atterrissage, la figure de calcul ne fait pas exception, comme Platon carte en ligne est calculée dans le cadre de l'ensemble des données chaîne de traitement, et d'autres cadres doivent être utilisés ensemble, ce qui nécessitera la convergence des données par cela peut causer des problèmes d'efficacité de transfert de données.

Pour ce problème, il existe des moyens pour faire face à Platon, en analysant l'exécution de chaque trame en aval, la convergence d'optimisation des données entre eux et Platon, l'atterrissage et de réduire les données, la copie peut obtenir un traitement efficace des données.

Bien sûr, le calcul de l'atterrissage il y a beaucoup de difficultés en raison de la nécessité de continuer à améliorer dans tous les aspects des technologies sous-jacentes et les applications des marchés.

Depuis open source Novembre 2019, Platon a été intégré dans les capacités de service en nuage Tencent, nuage Tencent par gros paquets de données, de titane intelligents, les solutions cloud Tencent telles que la connaissance des cartes étrangères, il y a beaucoup de grandes sociétés Internet de l'industrie et les universités à utiliser.

À l'heure actuelle, Platon a pris en charge les fonctionnalités cartographiques, l'algorithme d'apprentissage figure montre, l'avenir va ouvrir plusieurs algorithmes, tels que réseau Embedding et algorithme GNN, et il continuera d'être mis à jour et maintenir, à explorer et à utiliser en combinaison avec d'autres cadres.

A propos de Platon pour expliquer à la fin ici, la prochaine est de répondre à quelques questions courantes sur la carte cadre de calcul que nous avons, et calculer les tendances technologiques pour faire des prévisions sur la carte.

Figure cadre de calcul et solveur à usage général doivent être combinés pour faire?

La première question concerne la question conjointement avec le cadre de calcul Figure et moteur de calcul, comme Giraph est basé sur Hadoop à faire, GraphX base Spark, alors il peut être mis en doute, la figure cadre de calcul et solveur usage général moissonneuses-batteuses si tous les avantages? Est-ce que tout cadre futur Figure informatique font est le meilleur choix?

Dans l'Est dit RPSC, cadre informatique figure de liaison bon moteur et informatique général, mais il y a aussi des inconvénients, l'avantage est facile et polyvalent, les données complètes de traitement dans l'exploration de données, le processus de données d'application, mais le défaut est très évident, cela ne veut pas faire un moteur de calcul d'usage particulier optimisé pour l'algorithme de la carte, la mauvaise performance de grand traitement de données de la carte à grande échelle.

Il croit que cela est en fait la performance et de l'équilibre général, si les exigences de performance, vous pouvez choisir un usage général solveur du point de vue de GM, si les exigences de haute performance, il est le meilleur cadre pour carte de calcul haute performance choix.

Figure hotspots technologie informatique Quoi? Quelles sont les tendances de développement informatique cadre?

La deuxième question, à l'avenir, le graphique complet de calcul quoi attendre et on craint point technique de celui-ci? Et sur un cadre de calcul, la tendance de développement qui ont encore un avenir?

Il a dit, GNN est actuellement un champ de calcul de modèles à chaud, plus grandes sociétés Internet de l'industrie et les universités ont lancé cadre informatique GNN pour l'auto-développement grâce à un cadre réseau TF-GNN, Ali et d'autres open source graphique-savoir.

GNN Cette carte réseau neuronal (Graph Neural Network), qui est un réseau de neurones directs en cours d'exécution sur la vue de la structure, car en termes de dépendances entre les noeuds d'une puissance de modélisation graphique de ce domaine lié à l'analyse graphique des études acquis une percée, l'attention de l'industrie de la technologie et du milieu universitaire.

En outre, le cadre actuel peut avoir été utilisé en conjonction avec un certain cadre d'apprentissage profond, cela peut être une direction de développement de la profondeur du cadre d'apprentissage de la figure.