Fédéral apprendre le feu en 2019, les derniers progrès de la recherche de la façon genre?

Wen | Jiang Shang Bao

Ed | Jia Wei

AI apprentissage fédéral est sans aucun doute l'un des plus populaires paradigme technologique récent dans le passé 2019, l'émergence d'une vaste étude fédérale des recherches connexes. Fédéral est un cadre d'apprentissage de la machine d'apprentissage qui permet aux utilisateurs d'utiliser plusieurs ensembles de données réparties dans différents endroits pour des machines de train modèles d'apprentissage, tout en empêchant les fuites de données et sont conformes aux règles de confidentialité des données strictes.

Vous pouvez éviter les fuites de données! Cela signifie aussi que l'apprentissage peut-être fédéral est un moyen important pour résoudre les données sensibles. Récemment de l'Université nationale australienne, les institutions de l'Université Carnegie Mellon, l'Université Cornell, Google, Université de Hong Kong des chercheurs scientifiques et technologiques ont publié conjointement un document, il a élaboré sur les questions en suspens et défis auxquels fait face le secteur, et énuméré un grand nombre de précieuses recherches.

(Lei Feng réseau) Adresse de l'article: https: //arxiv.org/pdf/1912.04977.pdf

Cet examen de la thèse se compose de sept parties, introduites à partir du texte de présentation, il introduit d'autres paramètres d'apprentissage fédéraux et les questions autres que les paramètres inter-périphériques et comment améliorer l'efficacité de l'apprentissage fédéral et de l'efficacité et d'autres questions, abordées également les données utilisateur et la vie privée, le modèle est facteurs de manipulation et d'échec et d'autres questions chaudes.

introduction

étude fédérale fait référence à plusieurs clients (tels que les appareils mobiles ou organisation entière) modèle de collaboration formé des paramètres d'apprentissage automatique dans un serveur central (tels que les fournisseurs de services), tout en assurant que l'ensemble des données de formation au centre.

Certains risques systémiques et le coût de l'apprentissage de la vie privée fédéral d'utiliser le principe de la collecte des données locales et la minimisation, réduisent les centres traditionnels de méthodes d'apprentissage machine pour apporter. apprendre le terme fédéral a d'abord été proposé par McMahan et al., 2016, mais avant la naissance du terme, il y a eu beaucoup de travail de recherche dédié à la protection de la confidentialité des données, telles que le cryptage des données pour calculer les années 1980 avaient paru dans méthode de cryptage. étude fédérale d'abord porté sur les applications mobiles et les dispositifs de pointe, les chercheurs ont mis en place et ces deux sont appelés multi-appareils (cross-device) et cross-silo.

Sur la base de ces deux variantes de cet article pour apprendre dans une définition plus large fédéral: l'apprentissage est plus des entités fédérales (clients) apprentissage machine machine à résoudre des problèmes de collaboration qui configurent l'apprentissage dans un serveur central ou fournisseur de services Internet réalisée sous la coordination.

les données d'origine de chaque client est stocké localement, ne peut pas être échangé ou la migration, le Comité fédéral d'apprendre à utiliser la mise à jour partielle (pour la polymérisation immédiate (agrégation immédiate)) pour atteindre les objectifs d'apprentissage. Il convient de noter que cette définition complètera l'apprentissage et les techniques d'apprentissage fédéral entièrement décentralisé pour faire une distinction.

(Réseau Lei Feng)

paramètres multi-appareils étude fédérale: La figure montre le cycle de vie de l'apprentissage fédéral et la formation, ainsi que l'apprentissage plus participant à un système fédéral. Plus précisément, ce flux de travail comprend six parties: l'identification d'un problème; client 2 est fourni, le modèle de prototypage 3; 4 la formation du modèle de fédération; 5 Évaluation de modèle; 6 déploiement .......

Spécifique au processus de formation, y compris: A choisit client; 2 diffusion; 3 informatique client; polymérisable 4; 5 mise à jour de modèle ..... l'étape de sélection du client est principalement échantillonné de satisfaire aux exigences du client; étape de diffusion principal télécharger les poids des modèles actuels et de formation à partir du serveur à partir du client sélectionné, et le client de calcul, l'agrégation et la séparation du modèle de la phase de mise à jour est pas étude fédérale exigences strictes, mais il n'exclut certaines catégories d'algorithmes, tels que SGD asynchrone.

D'autres questions fédérales dans tous les milieux d'apprentissage et paramètres de l'appareil autres que

l'apprentissage de la formation fédérale, le serveur a joué un rôle central, quand un très grand nombre de clients, le serveur peut devenir une formation de goulot d'étranglement. L'idée clé de manière complètement décentralisée est d'utiliser le point en mode de communication point pour remplacer le serveur-centrique.

Dans l'algorithme entièrement centralisée au client en tant que canal de communication entre les noeuds, en tant que côté client, et ce point de bord de relation constituant un réseau d'apprentissage fédéral. Notez que l'état est plus une norme mondiale dans l'étude fédérale, le processus peut être conçu de manière à ce que tous les modèles locaux devraient converger vers une solution globale, autrement dit, chaque modèle atteint progressivement un consensus.

Bien qu'il soit entièrement distribué, mais tout bien sûr d'avoir un centre chargé de la répartition des tâches d'apprentissage, ces tâches d'apprentissage: algorithme de sélection, sélection ultra-paramètres, la mise en service et ainsi de suite. Sélectionnez ce centre de besoins à faire confiance, ses clients peuvent avoir fait la tâche d'apprendre à jouer, il peut également être décidé par consensus.

(Réseau Lei Feng)

l'apprentissage fédéral et distribué l'apprentissage mais comparer au centre du programme en cours sur un algorithme d'apprentissage de la machine est toujours confronté à beaucoup de problèmes, certains similaires à l'aide d'un serveur central pour une étude conjointe des circonstances particulières, des questions supplémentaires ont produit des effets secondaires en raison de la répartition intégrale . En ce qui concerne l'algorithme, le principal défi est l'impact de la topologie du réseau et asynchrone distribution de SGD, SGD distribués, personnaliser et mettre à jour le mécanisme de confiance local, compression gradient et méthodes quantitatives.

apprentissage fédéral Croix-Silo: l'apprentissage et le contraste co-métrage multi-appareils, étude fédérale Croix-Silo dans certains aspects de la conception d'ensemble est très flexible. De nombreuses organisations Si vous voulez juste modèle de formation des actions, et ne veulent pas les données de temps de partage, mise en silo croisée est un très bon choix.

Cross-Silo a mis en place l'étude fédérale a les principaux points suivants: la segmentation des données, les incitations, les différences dans la vie privée, factorisation tenseur.

(Lei Feng réseau) dans deux contextes d'apprentissage divisés

Division de l'apprentissage (Learning Split): L'idée principale est d'effectuer l'étude de segmentation en fonction de chaque modèle de segmentation entre le client et le serveur, et la formation et le raisonnement appliqué. La configuration la plus simple est divisé avant l'examen de chaque client est transmise est calculée par le réseau à la profondeur, et délivre ensuite la couche de coupe, à savoir, les données de meulage est transmise à un autre serveur ou client, ou le client et le serveur compléter ainsi les calculs restants. Enfin, d'une manière similaire peut être à partir du gradient de rétropropagation finale de la couche à une couche de coupe, ce qui signifie que, avant les données partagées de sorte qu'aucune propagation se produit. Notez que ce processus se poursuivra jusqu'à la convergence.

Comment améliorer l'efficacité

Le problème avec cette partie du document est un chapitre ouvert explorer diverses technologies abordées comprenaient l'élaboration de meilleurs algorithmes d'optimisation? Comment fournir des modèles différenciés pour les différents clients? l'apprentissage de la machine comment effectuer des tâches dans le cadre de l'étude fédérale? Résoudre les problèmes, il y a beaucoup de défis, dont une est la présence de (opérateur sous requis indépendant et identiquement distribuées) Données non IID. Ce problème se produit parce qu'il ya trois aspects principaux: 1 répartition différente du client, 2 violation de l'hypothèse d'indépendance, 3 séries de migration de données ....

Comment traiter les données non-IID il? La méthode la plus courante consiste à modifier les algorithmes existants. Pour certaines applications, vous pouvez choisir d'étendre les données, vous pouvez également utiliser quelques-unes des façons de rendre les données plus similaires entre les clients. Par exemple, créer une petite données peuvent être partagées définies globalement.

Une autre façon d'améliorer l'efficacité est d'optimiser l'algorithme de l'étude fédérale, dans certaines tâches d'apprentissage fédérales typiques, l'objectif d'optimisation est de minimiser « certaines fonctions. » La principale différence entre l'optimisation conjointe des algorithmes distribués et la méthode de formation standard est que: la nécessité de traiter les données non-IID et des données non équilibrées. De plus une autre étude fédérale d'importante considération pratique est l'algorithme peut être combiné avec d'autres techniques, par exemple, d'ajuster et d'optimiser l'état de l'algorithme (comme ADMM) et de la stratégie de compression stateful en fonction de la situation réelle.

apprentissage multi-tâches, la personnalisation et la méta-apprentissage est très efficace face à des données non-IID, ses performances peuvent même dépasser le meilleur modèle global partagé. En plus personnalisé grâce à la caractérisation, cette entrée peut faire un modèle global partagé produit de personnalisation hautement prédictive. Afin de rendre l'effet d'entraînement plus efficace, vous pouvez régler la machine flux de travail d'apprentissage.

Étant donné que les données améliorations apprentissage standard de la machine flux de travail, l'ingénierie de fonction, la conception structurelle du système nerveux, sélection de modèles, optimisation ultra-paramètre, lors de la configuration de collecte de données distribués et les appareils mobiles disposant de ressources limitées, il y aura beaucoup de problèmes.

Protection de la confidentialité des données utilisateur

modèle menaces de flux de travail d'apprentissage de la machine implique divers participants. Pour l'utilisateur, qui peut être généré par le dispositif d'échange de données de formation. Pour les ingénieurs, l'apprentissage machine leur participation est de former et d'évaluer la qualité du modèle. Dans un état idéal, chaque participant au système peut facilement en déduire qu'il n'y a pas la divulgation de renseignements, tous les participants peuvent tirer profit de ces conclusions pour déterminer si de prendre des mesures.

Thèse sur les résultats existants sont décrits dans ce chapitre et explique comment concevoir, pour être en mesure de fournir défi de la protection de la vie privée stricte, ainsi que le système d'apprentissage commun doit maintenant faire face. Bien sûr, en plus des attaques contre la confidentialité des utilisateurs, ainsi que pour l'étude conjointe d'autres types d'attaques, par exemple, l'adversaire peut tenter de la formation de modèle simple arrêt, ou d'essayer d'obtenir des préjugés modèles. Le document aborde également le modèle diverses menaces peut fournir une protection, une liste de quelques-uns des outils de base et de la technologie. Dans le serveur de confiance a également fait des hypothèses, et de discuter des problèmes de protection des clients de l'hostilité et les analystes des questions et des défis publics.

Robustesse à l'attaque et la défaite

système d'apprentissage machine moderne est sujette à. Ces problèmes ne peuvent pas être malveillants, tels que les erreurs de pipeline pré-traitement, l'étiquette de formation bruyante, ne volent pas le client, ainsi que pour la formation et le déploiement d'une attaque explicite. Dans cette section, le document décrit la nature distribuée de l'étude fédérale, la conception de l'architecture et les contraintes de données ouvre de nouveaux modes de défaillance et de la surface d'attaque.

Il est également intéressant de noter que la protection de la vie privée dans les mécanismes de sécurité de l'étude fédérale pourrait rendre très difficile à détecter et corriger. Le document aborde également la relation entre les différents types d'attaques et les échecs, et l'importance de ces relations dans l'apprentissage fédéral. attaque sur les performances du conflictuel modèle: L'attaquant peut attaquer non seulement contre la performance du modèle, mais il est possible de déduire des données privées de l'utilisateur impliqués dans la formation. Il existe de nombreux exemples d'attaques contradictoires, y compris les données, les modèles d'empoisonnement et mises à jour du modèle éviter l'empoisonnement des attaques (attaques d'évasion modèle).

mode de défaillance non malveillant (non Malicious des modes de défaillance): Par rapport à la formation du modèle de centre de données traditionnel, l'impact de l'étude fédérale sont particulièrement vulnérables à la faute du client non malveillant, et les attaques hostiles, et les facteurs du système peut conduire à des contraintes de données échec non malveillant. échec non malveillant est généralement plus petit qu'une attaque malveillante destructrice, mais une fréquence plus élevée d'apparition, mais souvent avec des attaques malveillantes partagent une origine commune et de la complexité. Par conséquent, la façon de faire face à l'échec non malveillant peut également être utilisé dans la lutte contre les attaques pernicieuses il.

Explorez la tension entre la vie privée et la robustesse: souvent en utilisant la technologie d'agrégation pour améliorer la protection de la vie privée de sécurité, mais rend généralement plus difficile d'attaquer la défense hostile, parce que le serveur central ne voir la collection des mises à jour des clients, afin de rechercher dans l'utilisation de la sécurité comment la défense d'attaque hostile est très important lors de la polymérisation.

Dans l'ensemble d'abord introduit l'attaque contradictoire, discute alors le mode d'échec non malveillant, et enfin la tension explore entre la vie privée et de robustesse.

Équitable, éliminer les préjugés

modèles d'apprentissage de la machine de performance sont souvent surprenants. Lorsque ces modèles de comportement très peu convivial, les chercheurs seront classés comme injuste. Par exemple, si les personnes ayant des caractéristiques similaires ont été des résultats complètement différents, alors cette personne en violation des normes d'équité. Si certains groupes sensibles (race, sexe, etc.) pour obtenir des résultats différents, cela peut constituer une violation de divers critères démographiques juste ........

étude fédérale de prévoir l'étude de l'équité des rares pensée, dont certains a étendu la recherche environnementale auparavant non fédéraux, d'autres sont uniques à l'étude fédérale. Dans les données des écarts de formation: un pilote de modèle d'apprentissage de la machine est un biais injuste dans les données de formation, y compris l'échantillonnage cognitif, les rapports et le biais de confirmation.

Un phénomène commun est que les données caractéristiques individuelles dans l'ensemble des données sous-représentées set, et donc le droit d'obtenir lourd après un modèle de formation ne constitue pas un problème. processus d'accès aux données est comme une étude conjointe des ensembles de données utilisés peuvent introduire changement et non-indépendance du même.

Sans un accès équitable aux biens sensibles: Obtient une information démographique claire, comme la race, le sexe et ainsi va stimuler le débat sur l'équité de la norme,, déployer souvent lorsque des biens personnels sensibles ne sont pas disponibles environnement d'apprentissage fédéral conduira à une discussion sur l'équité, par exemple, le développement du modèle de langage personnalisé et classificateur médical équitable. Ainsi, la mesure et la correction des inégalités est une question clé des chercheurs de l'étude de joint à résoudre.

L'équité, la vie privée et son: la confidentialité des données justes et concept éthique semble être complémentaire dans de nombreux environnement de réalité de la vie privée des besoins, juste est également très souhaitable. Comme l'étude conjointe sont les plus susceptibles d'être déployés dans la vie privée et l'équité exigent environnement de données sensibles, résolvant ainsi les problèmes d'équité et de la vie privée est essentielle.

Accroître l'utilisation du mode de diversité fédéral: apprentissage mixte de formation distribué fourni par les données précédentes ne peut pas être même illégalement ou pratique, peut être une utilisation raisonnable d'entre eux. Certaines lois sur la confidentialité des données actuelles ont été contraintes à la modélisation de l'entreprise dans des silos de données. En outre, l'absence de représentation des données de formation et de la diversité conduira à un déclin de la performance, l'étude fédérale peut être combinée avec les données déjà associées aux propriétés sensibles afin d'améliorer l'équité de ces modèles, améliorant ainsi les performances du modèle.

conclusions

dispositif apprendre le client distribué fédéral capable d'apprentissage collaboratif et le partage des modèles de prévision, alors que toutes les données de formation stockées sur l'appareil, de manière à séparer les besoins en capacité d'apprentissage de la machine et les données stockées dans le nuage.

Ces dernières années, les sujets d'étude du gouvernement fédéral dans l'industrie et le milieu universitaire ont connu une croissance explosive. l'apprentissage fédéral dans d'autres domaines également étendre progressivement l'influence: de l'apprentissage de la machine pour optimiser, des statistiques et de la théorie de l'information à la cryptographie, la confidentialité et l'équité. Protection des données ne sont pas modèle binaire, menace différentes selon les hypothèses, chaque modèle a ses propres défis.

Questions ouvertes abordées dans le document est pas exhaustive, elle reflète les intérêts et les arrière-plans de l'auteur. Cet article ne traite pas de problèmes non-apprentissage pour résoudre projet d'apprentissage de la machine, après toutes ces questions peuvent avoir besoin d'être résolues en fonction des données distribuées. Il calcule un exemple de base de statistiques descriptives, calculées sur la tête de l'histogramme courant ouvert. Un autre sujet de discussion important n'est pas susceptible de stimuler ou limiter l'utilisation de l'étude fédérale juridique et les questions d'affaires.