choses intellectuelles (numéro public: zhidxcom) Wen | Xinyuan
Ces deux dernières années, de plus en plus d'entreprises à réfléchir sur la façon d'appliquer les données de l'intelligence artificielle (AI) l'exploitation minière plus de valeur. Cependant, la formation AI exige beaucoup de données, ce qui est de plus en plus difficile à obtenir.
technologies de l'information même de commencer tôt, l'industrie financière riche en données, en proie par les mêmes données de haute qualité manquantes.
Les données financières semblent beaucoup, mais en réalité, de nombreuses données sans étiquetage professionnel, des données valides est très faible, beaucoup de contrôle sur les données éparpillées dans différentes agences, départements, des « îlots de données » problème grave, associée à la législation sur la confidentialité des données de plus en plus strictes, l'échange de données et partagé par de nombreuses restrictions.
Comment très intelligente confidentialité et hautement sécurisée ont à la fois? Il n'a qu'une masse d'organisation de données, pour profiter de l'optimisation de l'efficacité et le coût AI apporte?
La production de la discussion entre les chercheurs de la solution de bureau de la loi, en se concentrant progressivement sur une technologie émergente - apprentissage fédéral (Federated apprentissage) .
l'apprentissage fédéral pour obtenir des données multi-locales quitter les lieux, ont travaillé ensemble pour établir un modèle commun, elle a formé que soit seuls modèles IA sont plus précis, sans une atteinte à la vie privée.
Cette technologie pionnière dans le pays est « au nom de la science et de la technologie » secteur financier bancaire micro-publique, ce sera la première étude fédérale utilisée dans la résolution intersectorielles, les problèmes d'intégration de données inter-entreprises, et les ressources GPU NVIDIA appelé de cloud Tencent, avec une étude fédérale la technologie pour résoudre le difficile problème des petits prêts de micro-entreprises à plus de 70% des informations de crédit historique, montant du prêt de soutien aux entreprises a plus de 1 milliard.
En tant que premier banque privée, la banque d'Internet, les banques micro-publiques ont été activement par l'intelligence artificielle, les grandes données, l'innovation technologique de la chaîne de bloc, promouvoir plancher de la finance inclusive. AI par renommée internationale scientifique solide équipe de direction Professeur Yang des banques micro-publiques AI, l'apprentissage machine et de l'apprentissage traditionnel recherche fédéral et des applications sol dans le secteur financier, les deux ont une accumulation profonde.
Aujourd'hui, les îles de données, la protection de la vie privée sont les problèmes communs des applications industrielles traditionnelles doit faire face AI.
Micro Focus a travaillé sur les méthodes pour les institutions financières traditionnelles et d'autres entreprises à intelligents, la même signification.
Une autre façon d'éliminer les données d'écart, l'ensemble des micro-canaux
Pour mieux comprendre les difficultés techniques de l'étude fédérale, la valeur de l'expérience et l'atterrissage, récemment, nous avons procédé à des échanges approfondis avec le chercheur de l'intelligence artificielle des algorithmes avancés au Micro Banking Department Mise au point Huangqi juin
C'est la plus importante question est d'apprendre à la fois l'agrégation des données fédérales, la protection des données et de la performance?
Huangqi juin nous a dit, apprentissage machine conventionnelle fédéral et l'apprentissage plus grande différence est que l'échange de données est l'état dense.
machine traditionnelle apprentissage déplacer généralement des données au centre de données de nuages pour former le modèle, mais face à des problèmes de conformité de la vie privée, ces méthodes ne fonctionnera pas.
Fédéral apprend pas à déplacer les parties aux données en chiffrant les paramètres du modèle d'échange d'information, combinés avec les avantages de données multi-parties pour construire un modèle virtuel du total, le modèle virtuel est équivalent ou proche de diriger les parties au modèle d'agrégation de données avec la formation sur.
fédéral Architecture du système d'apprentissage
Micro Bank Focus propose trois modes d'apprentissage fédérées: étude fédérale horizontale, un apprentissage de transfert fédéral, fédéral étude longitudinale.
Chaque participant étude fédérale transversale des utilisateurs moins communs, mais les communes fonctionnalités multi-utilisateurs. Par exemple Google modélisé individuellement sur chacun des paramètres de téléphone et modèle transmis au nuage chiffré sur le modèle général est mis à jour, l'envoyer aux différents téléphones mobiles.
étude longitudinale fédérale sur les caractéristiques de l'utilisateur contraire, moins communs des parties concernées, mais plus l'utilisateur commun. Par exemple, la Banque A a la cote de crédit de l'utilisateur, le fournisseur d'électricité B d'acheter le même nombre record d'utilisateurs, à la fois les paramètres du modèle d'échange crypté peut synthétiser un modèle plus complet.
l'apprentissage de transfert fédéral applique aux parties concernées ni un utilisateur commun, mais aussi le manque de caractéristiques communes. Cependant, cette méthode est encore au stade de la recherche, l'application industrielle pratique pour être développé.
Catégorie étude fédérale
Du point de vue théorique, l'étude fédérale pour obtenir une situation gagnant-gagnant. Mais la lumière ne suffit pas de parler de la théorie, Comment faire jouer un rôle plus important dans les scénarios d'application pratique, il?
De 2018 au début de 2019, toutes les banques équipe micro AI construire progressivement de la théorie, des outils, des normes techniques, cadre écologique étude fédérale multi-niveaux d'applications industrielles, et d'attirer Tencent, Huawei, Jingdong, les partenaires de sécurité écologiques à se joindre.
Janvier 2019, Micro Focus a lancé le premier cadre open source de qualité industrielle étude fédérale FATE (Federated AI Technology Enabler) du monde, il a commencé à étudier appliquée aux services financiers fédéraux.
Ce cadre fournit une série d'algorithmes d'apprentissage fédéral « hors des sentiers battus », ainsi que d'améliorer les outils d'évaluation de l'aide de la modélisation et le modèle, ainsi que d'une solution de gestion de l'information d'interaction inter-domaine amical, permet de résoudre le problème de l'apprentissage de la sécurité de l'information fédérale de vérification difficile.
En d'autres termes, veulent appliquer l'étude fédérale des affaires sans investir trop d'énergie dans la technologie sous-jacente, vous pouvez profiter tout en protégeant la confidentialité des données, fédération de données apportées par plusieurs niveaux d'amélioration des affaires.
contrôle des risques de crédit, lutte contre le blanchiment d'argent, les intérêts des clients depuis le prix ...... FATE lancement, il atterrissage dans le secteur financier devenu plus profondément.
sur la base de la modélisation conjointe de DESTIN
25 juin 2019, Micro Focus Banque est devenue les seules institutions financières Linux Foundation or membres et de contribuer au projet Linux Foundation SORT. Aujourd'hui, FATE est devenue la communauté open source la plus grande communauté de développeurs d'apprentissage fédéral de l'industrie Pour absorber les 128 institutions et 145 organisations professionnelles et les universités pour construire l'application.
Huangqi juin Selon les rapports, après avoir appris le cadre fédéral sur GitHub appartenant principalement à la direction transversale de l'étude fédérale, et Disponible pour atteindre le niveau du cadre fédéral dans l'apprentissage longitudinal, seulement SORT.
Parce que l'architecture de la plate-forme de base fédérale et l'apprentissage est différent des autres plates-formes, micro-cadre public a spécialement conçu pour calcul distribué et le stockage, prend également en charge les transferts intersites.
FATE actuelle a accosté avec succès avec le tensorflow, PyTorch autre cadre d'apprentissage profond sur une seule machine, l'avenir également des plans pour essayer un système distribué.
En second lieu, l'explosion de données chiffrées a, micro publique fédérale apprendre résista le poids?
Que ce soit des algorithmes excellents et la force de la technologie de sécurité, ou la richesse de l'expérience de l'ingénierie, les banques micro-publiques sont des leaders dans le domaine de l'étude fédérale nationale.
Mais apprendre à promouvoir l'atterrissage de la route fédérale n'a pas été facile. L'échange d'apprentissage fédéral crypté, des ondes de volume de données, de sorte qu'il a besoin de plus de calcul et des capacités de communication.
Informatique, instruction apprentissage automatique traditionnels supporte les puces 32 bits, les algorithmes d'apprentissage fédéral Paillier / RSA comptent sur 2048 bits ou plus grand nombre entier exponentiation modulaire, et une autre opération de multiplication modulaire complexe.
transmission, polymérisation des paramètres d'apprentissage machine traditionnelle utilisant la transmission réseau et crypte les données après avoir appris le volume fédéral devient plus de 30 fois plus, même après plusieurs tours de transmission.
Si le manque de capacités informatiques et de communication, algorithme de performance sera une perte, Alors, comment est le public à considérer micro accéléré l'infrastructure informatique à un soutien informatique et des communications montent en flèche la demande elle?
Le regard de déposons sur plusieurs caractéristiques de l'algorithme d'apprentissage fédéral:
(1) un calcul hautement parallèle: des données de calcul d'état dense, différentes données calculées indépendamment l'un de l'autre;
(2) Répéter l'opération légère: La formule est pas compliqué, mais un grand nombre de fois répété;
(3) tâches de calcul intensif: Les données de calcul de temps d'E / S est inférieur à 0,1% du temps;
(4) de grandes quantités de données: Les données de lot généré, et l'énorme quantité de données.
Ces caractéristiques sont très bien avec les GPU calcul parallèle multi-thread.
Mais seulement concerné avec le programme d'accélération de la performance ne suffit pas, la flexibilité opérationnelle, la commodité et la stabilité requiert également un examen.
les entreprises d'infrastructure choisissent généralement de deux façons, les services de déploiement de cloud locaux ou privés pour assurer un degré plus élevé de données de contrôle, les services de cloud computing et de raccourcir le cycle de développement, l'élasticité des ressources informatiques configurables, ce qui réduit les coûts initiaux de démarrage.
programme Micro Focus actuellement utilisé dans l'étude fédérale, est plate-forme cloud Tencent basé sur GPU NVIDIA Tesla V100, GPU combinée avec la technologie d'interconnexion à grande vitesse NVLink, pour accélérer les tâches de calcul de l'étude fédérale.
« Apprendre à compter les exigences fédérales de haute puissance, le prix est raisonnable aussi longtemps que la solution matérielle qui peut répondre à la demande de la mission accélérée, nous sommes prêts à essayer. » Huangqi Jun a dit.
À son avis, NVIDIA V100 est déjà un programme très mature, l'utilisation à bon escient. Après les tests, par rapport à l'aide d'une seule CPU Intel Xeon série 6100, 8 cartes GPU en utilisant un ou plusieurs serveurs 20 peuvent également serveur CPU .
Non seulement cela, Huangqi représentation juin logiciel NVIDIA pour le public micro fédéral apprendre la même grande aide.
plate-forme logicielle NVIDIA offre une richesse de l'apprentissage de la machine et l'apprentissage en profondeur les bibliothèques open source. Au cours de la période d'étude L'étude fédérale, Huangqi juin qui avait fait l'objet de laboratoires de référence NVIDIA dans les grandes opérations numériques grande bibliothèque CGBN.
De plus, NVIDIA GPU fournit également un environnement de développement complet et la programmation pour répondre aux besoins d'une variété d'outils de développement Et donner beaucoup de conseils et de référence dans la conception et l'optimisation du système. Huangqi croit juin, Cela est très utile pour réduire les coûts de développement.
Après des algorithmes d'écriture par exemple, si vous trouvez GPU en accélération comme prévu, vous pouvez utiliser le SDK est livré avec l'outil de profil pour faire une analyse détaillée, il ne sera pas seulement vous dire le problème, comme le registre est utilisé aussi, et il vous guidera relations étape par étape pour résoudre le problème, par exemple, comment optimiser le registre de l'application, et comment équilibrer le registre parallèle occupé.
Huangqi juin rappelle, le problème est résolu, « l'effet ont immédiatement 2-3 fois plus. »
Sur la base de NVIDIA GPU plate-forme, l'étude Micro Focus fédéral a également présenté trois méthodes d'optimisation, pour exploiter davantage le potentiel de l'accélération GPU.
La première étape, faire penser à base d'élément de partition en parallèle, par division récursive grande multiplication entière pour être multiplication petit entier parallèle;
La deuxième étape, par des carrés de liaison et Montgomery algorithme de multiplication modulaire, afin de réduire la complexité de calcul, et est complètement évité une opération modulo;
La troisième étape, les résultats du calcul intermédiaire Remainder Theorem réduite intermédiaire.
Après avoir optimisé les résultats de l'évaluation a montré, par rapport à la méthode classique, basée sur une nébuleuse GPU schéma d'optimisation Clustar fait, permettra d'améliorer l'efficacité du cryptage homomorphique, 5,8 fois, 5,93 fois pour améliorer l'efficacité avec l'état de décryptage, l'état de l'efficacité de l'adhérence par 31,4 fois la multiplication l'efficacité des hautes densités d'améliorer l'additionneur 419 fois.
optimisation d'apprentissage accéléré GPU efficacité du programme fédéral
Huangqi Jun a dit les banques micro publiques équipe Amnesty International espère également d'explorer plus de force plus le soutien de l'opérateur.
En troisième lieu, de la crise financière à la prévention et le contrôle de la précision médicale, les applications fédérales en matière d'apprentissage de plus en plus riches
À la suite de la recherche dans les universités ensemble hors-boom, la technologie d'apprentissage fédéral a progressivement pénétré dans plusieurs applications industrielles, pour résoudre les données moins efficaces typiques de la finance scénarios AI, commerce de détail, les défis médicaux et de conformité des données, et de promouvoir le partage des données intersectorielles et l'intégration.
1, le contrôle des risques financiers: casser le problème des petits prêts de micro-entreprises
Dans le secteur financier, l'étude fédérale pourrait contribuer à améliorer considérablement la capacité de risque Quantifier, une baisse des prix globaux des produits financiers.
Par exemple, les petits prêts de micro-entreprises, les rapports de crédit et banque généralement qu'une partie de la politique nationale pour permettre aux données fiscales disponibles, mais plus de 70% des petites et micro-entreprises sont les ménages blancs, sans dossiers de crédit et les dossiers fiscaux. Les factures pour l'évaluation du risque de crédit des entreprises est utile, mais 70% actuellement à 80% de la facture par facture pour les données d'enregistrement de contrôle fiscal, les données sensibles, ne convient pas de communiquer directement à la banque.
petites micro-crédit entreprise problèmes de gestion des risques
Sur la base du principe d'assurer les données brutes ne sont pas échangées, la banque de micro-crédit public prêt données clients et des factures de modélisation de l'information d'enregistrement commun, modèle de contrôle des risques d'optimisation pour résoudre le difficile problème des petits prêts de micro-entreprises de plus de 70% d'information de crédit non historique. Actuellement, le montant de l'entreprise de prêt soutenu par ce modèle combiné a plus de 1 milliard .
Micro Bank focus main aussi Tencent nuage bac à sable Aegis, une forte dépendance des données aux institutions d'aide à exploiter davantage la valeur des données tout en protégeant la confidentialité des données, et de promouvoir l'application de l'atterrissage AI.
2, drainage précis: pour améliorer l'efficacité de l'information et les ressources correspondent
sagesse au détail de recommandations de produits personnalisées, la publicité ciblée et d'autres services, pour attirer les touristes, les habitudes de formation des utilisateurs est essentielle. Cependant, dans la pratique, les caractéristiques des données de ces services en cause sont habituellement dispersés dans différents départements ou entreprises.
Par exemple, les banques ont des caractéristiques de puissance d'achat, la plate-forme sociale a des préférences personnelles d'un utilisateur disposent, plate-forme de commerce électronique présente les caractéristiques des caractéristiques du produit. Si vous combinez ces données, nous pouvons construire un modèle plus précis du marketing, le modèle recommandé, mais la question de la vie privée est une étape, mais le seuil d'étude fédéral est devenu chemin possible.
Sur la base de la protection des données tripartite ne sont pas échanger mutuellement, l'étude fédérale pour construire plus précis que la modélisation individuelle modèle AI. Micro Focus achètera la Banque a le stockage avec précision hausse des taux de 21,4% par l'étude fédérale.
3, la sagesse médicale: briser le goulot d'étranglement de l'étiquetage des données manquantes
Le domaine médical avec un haut degré de confidentialité des données, les caractéristiques de dispersion de données, une seule organisation manquent souvent échantillon suffisant.
marquage des données est également de graves lacunes. Il a été estimé que les données médicales sur des sociétés tierces marquées, avec 10.000 personnes ont besoin d'utiliser jusqu'à 10 ans, afin de recueillir des données valides.
A l'étude fédérale ne peut garantir principe d'échange de données, a rassemblé un certain nombre d'hôpitaux, les ressources de données de patients de plusieurs ministères pour construire un modèle commun, l'effet est beaucoup plus que les hôpitaux avec leurs propres données de formation de modèle AI définies chaque hôpital le bien commun.
étude de la santé fédéral pour résoudre les points de douleur de grandes quantités de données
Conclusion: étude fédérale, AI Pratt & Whitney nouvelle voie efficace
AI atterrissage plus dans l'industrie en même temps, les problèmes de sécurité de la vie privée vont main dans la main, en prenant en compte la vie privée et la méthode d'apprentissage d'optimisation des données modèle fédéral AI, est énorme potentiel inexploité pour le développement.
Dans le cadre de l'étude micro GPU NVIDIA accéléré V100, fédéral a commencé à débloquer toute la sagesse de Voyage, contrôle de la qualité industrielle, et plus de scénarios d'application AI, à partir des données de conformité point de vue technique pour passer à travers l'île.
Aujourd'hui, l'étude fédérale vient d'entrer dans un nouveau palier en bâchée, plus d'entreprises et des établissements d'enseignement se joignent à l'écologie de l'étude fédérale, à améliorer le respect de la sécurité, à prévenir les attaques, l'efficacité de l'algorithme, mécanisme de l'Union, l'étude fédérale favoriseront l'IA plus saine atterrissage et plein d'énergie.
Merci pour la lecture. Cliquez préoccupations à bord avec vous agitez à la pointe de la technologie -
