Source: AI Technology Camp
Cet article sur 2300 mots lecture recommandée 9 minutes
Amazon équipe AI ouvrir un nouveau cadre de formation DGL-KE spécifiquement indiqué pour la connaissance de la cartographie à grande échelle intégrée, ce qui permet aux chercheurs et aux utilisateurs de l'industrie facilement et effectuer rapidement des tâches sur une machine de formation des connaissances d'apprentissage à grande échelle atlas ensemble de données.
la cartographie des connaissances (Knowledge Graph) comme une technologie importante au cours des dernières années a été largement utilisé dans divers domaines de la recherche d'information, le traitement du langage naturel, et les systèmes de recommandation. Intégration apprendre carte représente (Knowledge Graph Plongements) est une méthode pour générer un noeud de fonction (fonction de nud) à partir de la connaissance de la configuration du modèle sans supervision, les caractéristiques qui en résultent peuvent être utilisés sur une variété de tâches d'apprentissage de la machine. Par exemple, par enrobage, on peut prévoir si un noeud est représenté par une liaison (de prédiction de liaison) entre deux noeuds.
Cependant, avec le développement d'une illustration typique des réseaux sociaux, les systèmes de recommandation et d'autres données de la scène, l'ampleur des connaissances de la cartographie est en constante augmentation. Dans un scénario réel dans l'industrie, les techniciens ont souvent besoin de faire face aux dix millions, voire des centaines de millions de nuds de niveau de données cartographiques à grande échelle. Comment rapidement et efficacement représenté EMBEDDED sur une grande formation de connaissances de cartographie à l'échelle est actuellement un défi.
Récemment, l'équipe Amazon AI après DGL, a ouvert le code source d'un nouveau cadre de formation DGL-KE spécifiquement indiqué pour la connaissance de la cartographie à grande échelle intégrée, conçue pour permettre aux chercheurs et de l'industrie afin de faciliter aux utilisateurs de cartographier rapidement les données des connaissances à grande échelle l'apprentissage de la machine sur un ensemble de missions de formation.
Adresse github: https: //github.com/awslabs/dgl-ke
Par rapport au cadre open-source existante, les faits saillants de DGL-KE sont les suivantes:
- Soutient tous les principaux algorithmes d'apprentissage de la représentation des connaissances de cartographie, y compris Transe, COMPLEX, DistMult, TransR, RESCAL, etc. Faites tourner;
- Le seul cadre existant open source pour soutenir CPU multi-core, GPU multi-cartes, la formation hybride CPU-GPU, et distribué carte des connaissances de formation cadre de présentation intégré;
- Facile à utiliser, les utilisateurs ne doivent écrire du code directement aux données de carte en entrée à la connaissance;
- Haute performance et d'évolutivité. Selon DGL-KE a publié ensemble de données Freebase (plus de 86 millions de nuds, 300 millions de côtés) Indice de référence affiché sur AWS EC2 plate-forme, une formation p3.16xlarge (8 processeurs graphiques) peut être complété en 100 minutes. 4 r5dn.24xlarge (4 * 48 processeurs) la formation peut se faire en 30 minutes, et atteint linéaire speedup. Ce résultat est similaire que le système le plus rapide en cours (comme Facebook a publié Pytorch-BigGraph) 2-5 fois plus rapide.
Figure 1: DGL-KE Architecture du système
été en mesure d'avoir DGL-KE une telle performance, principalement en raison de la mise en place de nombreux systèmes innovants et des algorithmes d'optimisation:
(A) segmentation algorithme basé sur la carte METIS de formation distribuée
Pour les grandes données cartographiques à grande échelle pour la formation, la formation distribuée est essentielle. Quelle est l'idée principale pour agrandir un original divisé en différents sous-graphes, chaque machine est responsable de la formation de descente de gradient stochastique sur un sous-graphe, les paramètres du modèle de serveur de synchronisation (paramètre Server) parmi toutes les machines. L'architecture comme indiqué ci-dessous:
Figure 2: DGL architecture distribuée
Cependant, si seulement pour une grande carte pour la coupe aléatoire, provoquera une énorme quantité de communication de données entre la machine et le serveur de paramètres de formation (besoins de la machine locale à la demande de données de modèle de la machine à distance dont ils ont besoin), ce qui entraîne des goulets d'étranglement du réseau. Pour résoudre ce problème, DGL-KE sera prédécoupée aux données brutes avant la formation par METIS graphique de partitionnement algorithme.
algorithme METIS est une vision efficace d'un informaticien George Karypis propose la segmentation algorithme en 1995, alors que George Karypis est également l'un des auteurs du projet DGL-KE. METIS algorithme sera un noeud sur une grande carte associé placé dans la même division (séparation) autant que possible. La plupart de ces frais généraux de communication réseau peut être converti en machine de copie de la mémoire, ce qui améliore grandement la vitesse de formation distribuée.
Dans cet ensemble de données de formation pratique Freebase, algorithme METIS peut économiser près de 90% du modèle de bande passante du réseau, de sorte que la formation distribuée pour atteindre linéaire speedup. formation distribuée DGL-KE utilise des composants DGL-KVStore. Système DGL-KVStore DGL est conçu pour le paramètre de module serveur développé sur mesure est utilisé pour synchroniser le modèle de communication. L'assemblage est réalisé par le fond de la douille C ++, des files d'attente de messages, et l'orientation pour optimiser la sérialisation de données rares, et peut de manière transparente algorithme de segmentation METIS Fig.
(B) sur la base de la mémoire partagée à plusieurs processus de formation unique
Multi-Core (Multi-core) est devenu l'architecture actuelle de l'ordinateur standard, de nombreux postes de travail puissant dans une machine, il y aura plus de dizaines de curs de processeurs et des centaines de Go de mémoire, et même sur T. Pour de nombreux noeuds de données cartographiques de dix millions, ce type de performance autonome a été suffisante pour gérer les données de cette taille.
DGL-KE pour cette scène a également fait l'optimisation du système correspondant, ce qui permet aux utilisateurs autant que possible les limites de performance d'une machine minière. Avec le multithread traditionnel (Multi-thread) optimisation parallèle sur la base de différents DGL-KE utilise un multi-processus sur la base d'un grain grossier (Multi-Process) optimisation parallèle. parallélisme à gros grains peut augmenter la limite maximale du parallélisme en cours d'exécution du programme, augmentant ainsi speedup. En outre, DGL-KE modélisé par la synchronisation de la mémoire partagée (Shared-mémoire) entre les différents processus, ce qui réduit considérablement les frais généraux de communication inter-processus.
Figure 3: sur la base de la mémoire partagée à plusieurs processus de formation unique
(C) la formation hybride-GPU CPU
Formation connaissance des processus de représentation cartographique intégrée va générer beaucoup d'opérations de la matrice, et les opérations de la matrice peut être accélérée par le GPU. Pour les données de carte à petite échelle pour, DGL-KE permet aux utilisateurs de modèles graphiques complets dans le GPU dans la formation, de manière à atteindre une performance optimale. Cependant, par rapport à la mémoire du processeur, la mémoire GPU est beaucoup plus petite, mais la taille d'un modèle Plongements dépasse la limite de la mémoire GPU ne peut pas être formé. Pour le scénario d'un tel, DGL-KE offre aux utilisateurs un mode de formation hybride CPU-GPU.
mixte CPU-GPU en mode de formation, la CPU est stockée dans le modèle mémoire Plongements et stocke une copie du GPU de manière mini-lot par une petite quantité de données dans chaque itération sera un processus de la CPU à la formation du GPU. Pour éviter la surcharge de la copie de données entre la CPU et le GPU, les données de manière asynchrone formation DGL-KE copie en même temps que le chevauchement calculé. Cependant, le modèle de calcul asynchrone va faire baisser la vitesse de convergence et de précision, DGL-KE utilise ici une autre optimisation et la mise à jour Entité Embedding Intégration de la Relation de différentes manières: relation mise à jour synchrone et asynchrone à l'aide enity mise à jour.
Cela se fait parce que dans le processus de formation proprement dite, par rapport à de nombreux ensembles de données sont la distribution longue queue ont montré que certains types de types de relations occupent la grande majorité, de sorte que la mise à jour asynchrone provoque une grande quantité par rapport l'intégration du processus de formation le modèle de conflit, affectant ainsi la convergence et la précision du modèle. L'entité dans le processus de formation est généralement clairsemée, la formation asynchrone ne produira que si peu de conflits. Avec une telle optimisation simple, DGL-KE à la fois pour assurer la convergence de la formation du modèle, et peut assurer la performance du système.
Figure 4: mélange CPU-GPU formation
En plus de l'optimisation ci-dessus, DGL-KE fournit également un certain nombre d'autres méthodes d'optimisation. Par exemple, l'utilisation de processus d'accélération négative échantillonnage conjoint Sampler négatif utilisé pour réduire la copie des données Relation processus de formation de la partition et l'utilisation du modèle pour assurer la convergence de synchronisation périodique et similaires. DGL-KE construit plusieurs ensembles de données cartographiques de connaissances pour gérer les formats, les utilisateurs peuvent télécharger.
En outre, Benchmark DGL-KE offre une formation sur deux petits ensembles de données FB15k, wn18, ainsi qu'un vaste ensemble de données Freebase, l'utilisateur peut directement par le script pour reproduire les résultats de la formation dispensée. Et par rapport à cadre conventionnel open source, DGL-KE avantages significatifs, les résultats montrent la comparaison avec la performance DGL-KE Graphvite par rapport, et ainsi Pytorch-Biggraph FB15k Freebase ensemble de données dans l'ensemble de données.
DGL-KE vs Graphvite
DGL-KE vs Pytorch-Biggraph
Editeur: Wang Jing
Commenté par: Lin Yilin
- FIN -
attention Tsinghua - données Académie des sciences de Qingdao plate-forme publique micro-canal officiel " AI pour envoyer des données « Sisters et n ° » Les données envoyées THU « Pour plus de conférences et de bien-être contenu de qualité.
