Lei Feng réseau par AI Yanxishe : Échantillon de Confrontation est une sorte d'attaques malveillantes conçues pour les modèles d'apprentissage automatique des échantillons. Ils diffèrent des échantillons réels est presque impossible de distinguer à l'oeil nu, mais cela conduira à une erreur de modèle dans le jugement. Dans cet article, nous avons utilisé pour vulgariser les connaissances de base des échantillons de confrontation, et comment faire offensive et défensive contre l'échantillon.

Dans la classe ouverte sur un réseau récent Feng Lei en ligne AI Yanxishe organisé par des étudiants de doctorat de l'Université de Tsinghua Liao ARK partagé leur équipe une nouvelle méthode deux échantillons mentionnés dans infraction et de la défense contre la concurrence sur les lignes de contact 2017, ces deux méthodes au concours, il a reçu le premier attaquant et le défenseur. Cliquez pour la lecture vidéo

Arche de Liao, baccalauréat Tsinghua Département de chimie de l'Université, Département de doctorat biomédicale. Pour calculer la recherche neurologique, les réseaux de neurones et la vision par ordinateur. A participé à plusieurs compétitions Kaggle est la science des données Bowl 2017 champions, NIPS 2017 match de championnat contre l'échantillon. Kaggle mieux classée 10e au monde.

Partager Sujet:

attaques itératives Momentum et guide de suppression du bruit de haut niveau: de nouvelles méthodes de production et de défense contre les échantillons

Partager le contenu:

Bonjour à tous, je suis l'Arche de Liao, le thème d'aujourd'hui est de partager et anti-attaque contre l'échantillon. Contre la présence de l'échantillon fera l'application de l'apprentissage en profondeur dans les zones sensibles à la sécurité reçoivent des menaces, comment il peut être une défense efficace est un sujet de recherche très important. Je vais faire la part des aspects suivants.

• Ce qui est contre l'échantillon

• La méthode traditionnelle d'attaque

• L'approche défensive traditionnelle

• attaque Momentum itération

• débruitage

• Débruitage principal de guidage

Ce qui est contre l'échantillon

La nature est non seulement contre l'image de l'échantillon appartenant à la propriété, non seulement la profondeur de l'apprentissage nature unique du réseau de neurones. Il est donc à des modèles d'apprentissage machine à appliquer à certaines zones sensibles à la sécurité d'un obstacle.

A cette époque, l'apprentissage machine, Daniel Bon camarade de trouver des bateaux, image voitures, il voulait ajouter quelques fonctionnalités progressivement, de sorte que le modèle pour ces bateaux, les voitures devenant l'identification des avions, pour trouver enfin l'il humain image observée reste bateau, voiture, mais les modèles ont le bateau, la voiture comme avion.

Nos travaux antérieurs a constaté que l'échantillon ne soit pas trompeur uniquement sur la prédiction finale, l'extraction de caractéristiques est également trompeur. Ce processus est visuel.

Lorsque l'échantillon normal dans un réseau de neurones, les neurones spécialisés tête de l'observation des oiseaux, mais nous lui donnons un certain échantillon de confrontation, ces échantillons sont aussi contre tous conçus pour les oiseaux, ont trouvé des caractéristiques du réseau de neurones sont extraites de la pagaille et la tête des oiseaux est pas beaucoup relation. Cette tromperie est non seulement de la dernière apparition de la tromperie dans le milieu du modèle généré a commencé.

La figure suivante est l'attaque la plus simple --fast gradient signe Méthode

En plus de la méthode en une seule étape d'attaque FGSM, il est une attaque d'extension multi-étapes, à savoir la réutilisation FGSM. En raison d'une limite maximale, une seule étape de la taille de l'étape sera réduite en conséquence. Par exemple, il y a une attaque itérative en trois étapes, attaquer chaque étape d'itération sera réduite en conséquence.

CNN utilisé pour produire l'image et la nécessité d'attaquer CNN est le même, nous avons appelé l'attaque boîte blanche. En revanche, le type d'attaque connu comme une attaque de boîte noire, qui est, le modèle a besoin de savoir rien de l'attaque.

Toutes ces choses sont non ciblées, tant que la prévision cible résultant n'est pas corriger. Une autre attaque ciblée FGSM, l'objectif est non seulement de diviser de façon incorrecte, mais aussi affecté au type spécifié.

Une boîte noire pour améliorer le taux de réussite d'attaques moyen efficace d'attaquer une collection.

Et à ce jour est une stratégie défensive efficace contre la formation. Dans le processus de formation de modèle, l'échantillon de formation juste un échantillon propre, mais un échantillon propre, et la confrontation échantillon. Comme la formation de plus en plus le modèle, d'une part une image propre du taux exact augmentera, d'autre part, contre la robustesse de l'échantillon augmente.

Ce qui suit décrit les règles du jeu sur les 2017 NIPS

Structure de la concurrence

deux contraintes : Plage de tolérance est pas trop grand, ne devrait pas prendre trop de temps pour produire un échantillon de confrontation ou de défense contre un échantillon

Résultats de l'algorithme FGSM

L'attaque de plage modèle vert, les deux dernières colonnes de gris est le modèle de boîte noire, avec l'augmentation du nombre d'itérations, mais a augmenté le taux de réussite de l'attaque. Cela crée un problème pour l'attaque.

Notre solution est au milieu d'itérations et itération en ajoutant l'élan

Après avoir ajouté l'élan, l'attaque boîte blanche devient forte, mais le taux de réussite du modèle de boîte noire aussi améliorer grandement l'attaque.

Résumé:

Les méthodes précédentes de faiblesses (attaque itérative) dans le cas d'une augmentation du nombre d'itérations, leur mobilité, ce qui est l'attaque de la boîte noire sera affaiblie, après que nous avons proposé d'ajouter l'élan, ce problème a été résolu, vous pouvez sentir à l'aise dans l'utilisation très nombre d'itérations attaque.

Obtenez le meilleur score de la compétition 2017 NIPS

Cela mentionné ci-dessus sont des besoins non ciblés à l'intérieur mentionné d'attaque ciblée, cette stratégie est différente. Les attaques ciblées qui, au fond, nous ne pas observé de migration, qui est, la boîte noire a été très faible taux de réussite, même en ajoutant l'élan à son degré de mobilité est également très faible.

Ici pour parler de la défense

Première pensée est d'aller au bruit, nous essayons d'utiliser une partie de l'effet méthode traditionnelle de débruitage (filtre médian, BM3D) n'est pas bon. Ensuite, nous essayons d'utiliser deux architectures différentes du réseau de neurones débruitage. Est-ce un débruitage Autoencoder, l'autre est débruitage additif U-Net.

Notre échantillon de jeu de données de formation est prise de IMAGEnet trente mille images, en utilisant sept différentes méthode d'attaque pour trente mille images attaquer, se 210,000 contre l'image de l'échantillon original et trente mille correspondant à l'image. En plus de l'ensemble de la formation, nous avons également fait deux ensembles de test. Un test d'attaque boîte blanche et un jeu de test d'attaque de boîte noire.

Effet de l'entraînement

Nous avons trouvé plus tard que, après débruitage, le taux correct, mais un peu. Nous avons analysé les raisons, entrez une image propre, puis entrez une image de combat, puis calculer l'écart entre chaque couche du réseau dans ces deux images représentent, nous constatons que l'écart est couche par couche élargie.

Dessin de la ligne bleue trouvée dans une plus grande amplitude est très grande, l'image est dans le rouge après le débruitage, encore élargie, qui a finalement abouti à une classification erronée.

Pour résoudre ce problème, nous proposons amélioré après que le réseau HGD

Plusieurs variantes de HGD

Et par rapport aux méthodes précédentes, réseau HGD défendre la précision de l'amélioration grandement améliorée

HGD a une bonne mobilité

Le dernier match, nous intégrons les quatre modèles différents, ainsi que la formation de leur propre suppression du bruit, et éventuellement de les fusionner ensemble pour soumettre jusqu'à.

Résumé du réseau HGD

avantages:

• L'effet de nettement mieux que les autres modèles de l'équipe.

• Moins que les méthodes précédentes de formation en utilisant des images et moins de temps de formation.

• Vous pouvez effectuer la migration.

inconvénients:

• En outre, il dépend de petits changements dans mesurables

• Le problème est pas entièrement résolu

• Il sera toujours attaque boîte blanche, à moins supposer que l'adversaire ne connaît pas l'existence de HGD

Mu Feng Lei réseau classe école AI fournit cette part la lecture vidéo: http: //www.mooc.ai/open/course/383