Temple Lai peut être envoyé à partir d'un non-concave rapports Qubit | Numéro public QbitAI
Fool l'IA si simple.
Un changement de synonymes, modèle de traitement du langage naturel pour étudier pas le sens de la phrase.
Les étudiants diplômés du MIT et l'Université de Hong Kong ont développé un algorithme, que AI taux de classification correcte sur le texte et les problèmes de raisonnement est passé de 80% à 10%.
Principe du test
Le nom de ce modèle est appelé Textfooler, phrase pincé, pour attaquer la classification de texte en langage naturel et le raisonnement par les étudiants.
Par exemple, dans le célèbre jugement critique des tâches de classification, tâche AI est de juger un critique de cinéma est positif ou négatif.
Comme l'expression:
Les personnages, exprimés en impossiblement situations artificielles , Est totalement éloigné de la réalité. (personnages de la pièce, a été placé dans la situation impossible, complètement hors de contact avec la réalité.)
Textfooler modèle correspondant à la phrase générée:
Les personnages, exprimés en impossiblement circonstances modifiées , Est complètement éloigné de la réalité.
La situation aux circonstances changé arrangé d'ingénierie, a totalement changé complètement.
AI Amènerons a marqué la première phrase est « négative », la deuxième phrase est marquée comme « positif ».
En Raisonnement, AI doivent déterminer la relation entre une phrase et le contexte, ils sont inhérents, neutres ou contradictoires.
Compte tenu de ce principe:
Deux petits garçons en uniformes de soccer bleu utilisent un ensemble en bois d'étapes pour se laver les mains. Deux portant un uniforme de football bleu garçon marches en bois au moyen d'un lavage des mains.
Nous devons déterminer la relation entre l'expression « Les garçons sont en uniformes de bande. » (Les garçons portent des uniformes de la bande) et prémisse.
AI déterminera la phrase comme « contradictoire ».
Lorsque les uniformes du mot a changé de vêtements: Les garçons sont en vêtements de bande.
AI déterminera la phrase « contient ».
En outre, l'équipe de recherche a également demandé à des sujets humains à lire ces phrases pour confirmer sa nouvelle génération de phrases et plus proche de la phrase originale.
Ils ont été chaque exemple cueillies 100 ensembles de données de jeu de données deux MR et expérience WordLSTM, le procès a été demandé de noter. 1 est similaire à, l'ambiguïté est de 0,5, est différent de 0, les scores obtenus étaient de 0,91 et 0,86.
Cela montre que la phrase après l'ajustement a peu d'effet sur la lecture humaine.
Chaque résultat de test de modèle
L'équipe de recherche a utilisé trois modèles, des ensembles de données sept à tester.
Trois modèles: BERT, WordCNN, WordLSTM.
Ensemble de données:
tâches de classification de résultats de tests sont les suivants:
La précision originale de tous les modèles dans plus de 78%, comme BERT est une meilleure performance dans les deux ensembles de données peut être jusqu'à 97% de précision.
Mais après l'attaque Textfooler, l'exactitude de tous chuté en dessous de 20%.
Comment se fait le raisonnement implique l'exécution des tâches:
La précision de 80% à 10% ou moins d'origine.
Il pourrait avoir un impact dans les applications pratiques
traitement de texte AI sont de plus en plus utilisés pour juger les candidats, évaluer les demandes médicales de traitement des documents juridiques. Par conséquent, les chercheurs croient, l'attention d'Amnesty International à ce défaut.
Si le système automatisé pour les soins financiers ou médicaux, même de petits changements dans le texte, il pourrait causer beaucoup d'ennuis.
Professeur adjoint de l'Université de Californie, Irvine, a déclaré Sameer Singh, la méthode d'ajustement du texte « vraiment très efficace pour générer un bon adversaire pour le système AI. »
Mais il a également dit que cette méthode est difficile à mettre en uvre dans la pratique, car elle implique sonnant à plusieurs reprises le système AI, ce qui pourrait éveiller les soupçons.
Université de Californie à Berkeley Song professeur Aube spécialisée dans l'IA et de la sécurité. Elle a dit que l'étude fait partie du travail d'évolution, les spectacles de travail comment tromper l'algorithme de langage, et une variété de systèmes d'entreprise peuvent être sensibles à une certaine forme d'attaque.
Il semble, veulent comprendre la parole humaine, AI doit continuer à travailler dur ah.
équipe de recherche
L'étude a été réalisée par l'Université de Tsinghua, chercheur à l'Université de Hong Kong, Singapore Institute Technologies. Auteur correspondant il y a deux:
Di Jin, est diplômé de Tsinghua School of Computer Science de l'Université. 2020 MIT doctorat en science informatique. À l'heure actuelle, un assistant de recherche à la science informatique et laboratoire d'intelligence artificielle du MIT.
Jinzhi Jing, Shanghai East China Normal University, diplômé d'études secondaires deux attachés, est diplômé de l'Université de Hong Kong, est actuellement en cours de doctorat appliquée. La PNL a publié quatre documents en haut conférence NAACL, EMNLP, AAHPM, AAAI.
Adresse github: https: //github.com/jind11/TextFooler
Adresse Papers: https: //arxiv.org/pdf/1907.11932.pdf
lien de référence: https: //www.wired.com/story/technique-uses-ai-fool-other-ais/
- FIN -
Qubit QbitAI · titres sur contrat
Suivez-nous, la première fois informé l'avant-garde des développements scientifiques et technologiques
