Les dispositifs intelligents temporairement cool, smart a été cool. Cependant, la conférence RSA, Google chercheurs Nicholas Carlini cette année a récemment démontré comment ces dispositifs de système sous-jacent attaqué.
Tout d'abord de se sentir cette vague d'opérations:
- Invasion des véhicules autonomes, des algorithmes d'apprentissage machine assistant vocal;
- Laissez le chat reconnu comme guacamole ou une symphonie de Bach;
- Laissez attaquer les téléphones intelligents basés sur l'audio erronée.
Ce sont des exemples de systèmes d'apprentissage machine « attaque contradictoire » pour. Depuis l'entrée sous la forme d'un algorithme d'apprentissage automatique est un vecteur numérique (vecteurs numériques), un attaquant aurait visé par la conception d'une machine à vecteur numérique des modèles d'apprentissage fait pour que mauvais jugement, qui sera appelée contre agression sexuelle. Et d'autres attaques, les attaques se sont produites principalement dans la confrontation conflictuel de données de temps de construction, contradictoire après les données est le même que l'entrée de données normales et des modèles d'apprentissage machine pour obtenir le résultat de la reconnaissance de la tromperie. Dans le processus de données de la structure conflictuel, que ce soit un système de reconnaissance d'images ou des systèmes de reconnaissance vocale, des modèles d'apprentissage machine pour comprendre comment beaucoup d'informations selon l'attaquant, peut être divisé en deux situations suivantes:
- attaque boîte blanche: un attaquant peut apprendre un algorithme d'apprentissage automatique et paramètres de l'algorithme utilisé pour être utilisé. Dans le processus de l'attaquant conflictuel pour générer des données qui peuvent être attaquées avec des systèmes d'apprentissage de la machine doivent interagir.
- attaque boîte noire: l'attaquant ne sait pas les algorithmes d'apprentissage machine et paramètres utilisés, mais l'attaquant a encore l'interaction du système d'apprentissage de la machine, comme on peut observer en passant une sortie d'entrée, de sortie de jugement.
Un attaquant par une légère modification de données peut attaquer: changer l'image ou du son, à tour ordinateur être mal classés. Ceci est maintenant partout l'influence mondiale de « l'intelligence artificielle » est de soi.
Google donne un aperçu des vecteurs d'attaque possibles aux participants, ces vecteurs peuvent être utilisés non seulement le système d'apprentissage machine, vous pouvez également extraire des informations sensibles de grandes quantités de données centralisées par inadvertance.
abus de réseau de neurones
Ces attaques sont l'algorithme informatique sous-jacente permet de grands ensembles de données pour identifier les tendances. Carlini Share Un exemple est les millions de chats système de classification d'image. l'apprentissage de la machine à faire l'ordinateur à identifier les caractéristiques d'un bon chat, un chien et quand l'image est apparue, il peut déterminer l'erreur correspond l'image. Cependant, les scientifiques ont constaté que les défauts de manière apprentissage automatique de traitement des données informatiques disponibles à l'aide de grands ensembles de données, les ensembles de données qui appelle les réseaux de neurones - en utilisant le système fonctionne lorsque le cerveau analogique de la machine d'apprentissage machine.
Cette chats image pour l'il humain est pratiquement pas de différence, mais du point de vue du réseau de neurones est très différent. En fait, la seule différence est l'un des deux petits points sur l'image, ce qui est suffisant pour confondre le réseau de neurones, laisser l'image de chat classé comme guacamole.
Et quand cette technologie sera appliquée à des attaques de confrontation, nous pouvons faire leur propre cerveau écran suivant entraînera les conséquences: un des véhicules autonomes seront légèrement modifiés compris comme des signes d'arrêt limite de vitesse de 45 miles / heure.
Il a été attaqué dans les panneaux de stationnement qui permettent au réseau de neurones à reconnaître les signes de limitation de vitesse.
attaque conflictuel Audio
Non seulement les images, audio seront aussi.
Carlini a joué un extrait instrumental de Bach, et le réseau de neurones en utilisant l'interprétation vocale à texte de l'analyseur audio est devenu Dickens « Il a été le meilleur des cas, ce fut le pire des temps. » Il est également la rencontre avec une présentation vidéo par une application ou site scripting voyous téléphones Android, méthode gens entendent brouillées audio.
Il a dit: « Si je suis sur le téléphone que vous dites « de transmettre votre récent courriel à moi » ou « la navigation des sites malveillants », il est quelque chose dans le. » De cette façon, l'ennemi peut être masqué par une bonne commandes audio, effectuez un certain nombre de tâches sur le risque de téléphones Android. « Je peux jouer des vidéos YouTube intégrées dans l'audio, vidéo être regardé à un moment où les gens peuvent recevoir un enseignement. »
attaque seuil bas
L'attaque elle-même est pas compliqué, il est difficile à réaliser, simplement, il est la façon dont elle est basée sur le réseau de neurones pour la classification d'images.
pourcentage machine d'apprentissage rang des images par la crédibilité, de créer un groupe de classificateur. Par exemple: une image propre et claire d'un chat peut avoir 98% de la machine pourrait être en mesure d'apprendre le chat, après une nouvelle classification. Et ajouter un point subtil dans l'image du chat, cette fois-ci pour réduire le pourcentage du réseau de neurones might des possibilités de « chat » à 97,5%. Par le changement imperceptible adéquat (point), le réseau de neurones pour identifier la crédibilité du chat érodé. Puis, quand un certain seuil, le réseau de neurones ne se voit pas comme une image de chat et sauter à l'image suivante la plus probable. Des exemples de chat Carlini part de la plus proche est la classification guacamole.
« Cette attaque est difficile de ne pas générer, » Mathématiques appliquées peut aider à réduire le temps l'ennemi pour créer une image trompeuse peut défier le bon sens. Il a ajouté: « Si vous pouvez calculer la perte de dérivée de la fonction et de l'image du réseau de neurones, même peut maximiser les erreurs de classification. »
la confidentialité des données de formation
De plus en plus les industries utilisant l'intelligence du réseau de neurones d'apprentissage de la machine pour résoudre le problème, alors il y aura inévitablement des risques et de confidentialité. Tels que: les hôpitaux, les détaillants et le gouvernement voudrait créer un réseau de neurones basé sur une variété d'ensembles de données sensibles. Si ces ensembles de données sans la limite appropriée, alors ces renseignements personnels peut être ennemi extrait un accès limité. Il est fait référence au modèle de prévision de réseau de neurones utilisé pour la requête, tels que: les applications de courrier électronique ou texte utilisent souvent pour prédire votre prochain mot. Si cet ensemble de données est appliquée à un ensemble de données qui contient des informations sensibles, il peut, par inadvertance, permettre à un attaquant d'interroger la base de données de divulgation de l'information. Quand quelqu'un commencer à taper « numéro de sécurité sociale de Nicolas est ...... » algorithmes et des ensembles de données de requête en fournissant automatiquement la bonne réponse. D'autres, comme les données de traitement du cancer, des informations de carte de crédit et adresse ensembles de données sont une raison.
« Enterprise avant d'utiliser les données d'apprentissage et de formation machine pour examiner attentivement l'utilisateur même si seulement a un modèle d'autorisations de requête peut également extraire des données privées, et la clé pour protéger les fuites d'information est d'abord les données centralisée » mémoire « est réduite aux tâches d'achèvement Selon lui, la mesure du « essentiel ».
Le manque de robustesse de l'apprentissage machine, classificateur d'apprentissage de la machine est assez facile de se laisser berner. Placé devant la question du concepteur du réseau de neurones est comment construire le système.
Auteur: Gump, reproduit à partir de: http: //www.mottoin.com/detail/3862.html
