Lei Feng réseau par AI Technology Review: 2017 bientôt passé, et l'IA en 2017 a également connu un développement rapide. Les chercheurs ont proposé un grand nombre intéressant et plein de travail de pionnier. En tant que praticiens IA, nous ne pouvons pas aider aussi le développement de la grippe aviaire l'année prochaine aura plus de vision. Ici, nous offrons spécialiste de l'apprentissage machine Alex Honcha envisagé 2018 zones IA plus susceptibles de produire une percée pour tout le monde.

Voici quelques-uns du réseau Lei Feng compilé l'original.

Bonjour à tous! 2017 est un apprentissage de la machine dans le monde, le plus efficace et la plus créative année. Nous pouvons déjà voir beaucoup de messages de blog, et même des rapports officiels pour résumer des avancées de la recherche et de l'industrie. Je veux partager quelque chose de différent, aspects AI de l'année prochaine, il y aura peu de progrès à travers trois articles, l'analyse qui suit de trois points de vue différents:

• En tant qu'industrie de promouvoir le développement des chercheurs d'Amnesty International (papier)

• En tant que l'apprentissage de la machine appliquée aux développeurs de l'industrie

• En tant que personne vivant dans un monde nouveau

Je prédis que dans cet article, est l'évolution des idées de recherche et du monde universitaire depuis 2012 géant de la technologie en laboratoire. J'ai choisi certaines régions dans les premiers stades de développement, mais ils ont été bien préparés, et peut-être étude approfondie d'une percée en 2018, et enfin en 2019-2020 ans vraiment à appliquer dans le monde réel.

recherche Open Source

Les gens d'autres domaines de la recherche scientifique ont souvent un problème: Des études sur la façon dont ces gars aÌ si vite?

Tout d'abord, l'article le plus d'apprentissage de la machine et ne sera pas publiée dans la revue, mais publié à la réunion, ainsi que prépublication de arXiv immédiate, afin que les chercheurs peuvent voir les derniers résultats de la recherche à tout moment, plutôt que d'attendre jusqu'à ce que l'article d'émission plusieurs mois après.

En second lieu, nous ne publions pas « l'homéopathie » dans l'article: Afin de pouvoir rendre l'article a été publié, nous avons le plus haut niveau du courant ou une nouvelle méthode capable des plus hauts niveaux similaires à la méthode proposée. En outre, de nouvelles méthodes doivent accepter à différents tests de paramètres: la vitesse, la précision, en parallèle, la preuve mathématique, le traitement des ensembles de données de tailles différentes et similaires. Cela rend la méthode de la capacité de généralisation grandement améliorée.

Enfin, tous les principaux articles de la mise en uvre open source de l'algorithme, de sorte que les résultats peuvent être exécutés d'autres personnes, ont mené des tests multiples, ou même peut être encore améliorée.

Moderne AI la recherche plus cool que sous la forme de « blog » a publié un article, nous pouvons voir leurs derniers progrès dans DeepMind, OpenAI, Salesforce, le blog d'IBM, les résultats d'une manière claire et compréhensible pour le montrer, de sorte que même les gens loin de la recherche scientifique peuvent également être très facile à comprendre ces technologies très « cool ». Personnellement, je aime le pub Distiller est un bon exemple.

Ce sont de véritables revues scientifiques, mais ressemble plus à du papier avec des illustrations blog. Bien sûr, je veux écrire cet article a besoin de beaucoup de travail, mais seulement cette forme afin d'attirer plus de gens. Dans des circonstances normales, les résultats de ces articles peuvent être affichés simultanément: les chercheurs, les développeurs et les investisseurs. Ce résultat montre de façon sans doute plus efficace, je crois que dans les prochaines années, de plus en plus de recherches seront présentées de cette façon.

Pas besoin de modèle de langage de corpus parallèle

Nous considérons une simple question:

Prenez 50 livres arabes, 16 livres en allemand, et sept livres ukrainien vous oblige à apprendre à traduire l'arabe à l'ukrainien, l'allemand et sera traduit en ukrainien.

Vous pouvez le faire? Je parie que non. Mais les machines ont fait cela! En 2017, deux articles révolutionnaires ont été publiés: "Unsupervised traduction automatique utilisant monolingue Corpora uniquement", "Unsupervised Neural Machine Translation". L'idée de base est la traduction automatique similaire de la signification d'une phrase ensemble, un espace de formation linguistique humaine commune. Cette idée n'est pas nouvelle, mais la dernière méthode n'a pas paire explicite allemand - arabe phrases.

Un multi-langue montre un exemple d'espace

Auteur de plusieurs articles affirmant que, aussi longtemps que le petit modèle de surveillance de la qualité de traduction peut augmenter rapidement. Je pense cette étude sera achevée à l'été 2018 à la fin de l'année. Ce contrôle, mais pas vraiment l'apprentissage supervisé de la pensée, la volonté et doivent être étendues à d'autres domaines.

Il est temps de mieux comprendre la vidéo

Nous avons créé un ordinateur peut transcender le système visuel humain, grâce à une variété de plus profondes, plus larges, et les connexions réseau plus intensive.

précision de détection d'objet passe de

Cependant, les réalisations actuelles sont limitées à des images statiques, mais la réalité est plus habitué à la séquence humaine d'images, de la vidéo ou le monde réel observe les yeux, nous avons donc besoin de méthodes de vision par ordinateur appliquées à la vidéo, et leur permet d'images fixes comme traitement d'images rapide.

Cependant, pour être honnête, détecté 1000 objets deviendra très ennuyeux, pas sexy, mais aussi un peu sur les images fixes.

Publié quelque chose au sujet de la prochaine prédiction de l'image vidéo et la caractérisation de l'apprentissage des résultats intéressants dans NIPS récents en 2017. Voici quelques-uns nous pouvons essayer d'utiliser plusieurs modèles et études: modèle d'attention améliorée, le concept d'utilisation d'un flux optique (flux optique) dans la vidéo, en utilisant une structure en boucle pour gérer efficacement grande vidéo.

https://research.google.com/youtube8m/

Multimodaux / apprentissage multi-tâches

Quand on observe le monde autour, nous avons vu non seulement l'image en mouvement: aussi entendu le bruit, se sentir à l'extérieur de la température, mais aussi se sentir quelques-unes des émotions. Cela signifie que nous « voyons » de différentes sources dans le monde qui nous entoure, nous appelons cette source est modale. De plus, même si seulement « voir » un mode, comme certaines personnes entendent des voix, nous traitons tout comme le système de reconnaissance vocale, tel que traduit en mots, nous pouvons comprendre le sexe et l'âge de l'orateur, ainsi que les conversations l'humeur de la personne. En même temps, nous sommes en mesure de comprendre les choses différentes. Nous espérons que la machine peut avoir une telle capacité.

Les êtres humains peuvent obtenir des centaines de conclusions à partir d'une image, pourquoi ne pas la machine?

Actuellement, il n'y a pas beaucoup d'ensembles de données sont utilisés pour résoudre le problème de la multi-tâches, mais l'Université d'Oxford ont récemment proposé des ensembles de données multimodaux et reconnaissance d'image Défi. J'attends l'année prochaine, il y aura plus d'ensembles de données et les résultats apparaissent dans l'application de la parole (comme l'âge, l'émotion):

Humain capable de traiter plus de dix modes, pourquoi ne pas la machine?

Avant que je décidé de rejoindre l'apprentissage multimodaux à cet article, à l'origine voulu écrire l'application de l'intelligence artificielle dans le secteur financier, mais quand j'ai vu les ensembles de données suivants après la sortie, je savais que les transactions financières ont aucune chance de se joindre dans cet article le. L'ensemble de données contient environnement très HoME choquant, qui comprend une variété de données visuelles, de la voix, des objets sémantiques, physiques et autres à interagir avec et ainsi de suite. Vous pouvez apprendre à un robot pour voir dans presque salle réelle, de se sentir et d'entendre tout!

https://home-platform.github.io/

Nous pouvons mettre tout l'accord des modalités avec elle?

Vous voulez, nous pouvons construire un super multi-modal - modèle multi-tâches, ce qui peut être résolu de manière complètement différentes tâches basées sur l'entrée tout à fait différente? Google Institut de le faire, ils construisent une image et le texte peut être saisie que l'architecture du réseau de neurones avec une seule solution et reconnaissance d'images, la segmentation, le texte traduit, des problèmes analytiques. Je pense que ce n'est pas la façon la plus intelligente de résoudre ces tâches, mais est un bon début!

Apprentissage par renforcement: plus qu'un jeu

Renforcer l'apprentissage pour moi est l'un des domaines les plus passionnants et les plus douteux: il peut être sans aucun contrôle, le jeu d'échecs de la victoire, les échecs et le poker un jeu complexe grâce à l'auto-jeu, mais en même temps, apprentissage par renforcement à peine toute application dans le monde réel, comme la possibilité de monter dans un environnement artificiel en caractères jouets 3D, ou vous pouvez déplacer un bras de robot. Voilà pourquoi je pense que l'étude de l'apprentissage de renforcement doit encore continuer l'année prochaine. Je pense que les deux percées majeures se produisent: OpenAI de Dota 2 (1v 1 a été battu pro) et DeepMind StarCraft 2.

Je suis assez sûr champion DotA StarCraft et futur seront défaits robots OpenAI et DeepMind. Maintenant, vous êtes prêt à utiliser l'environnement expérimental OpenAI jeu StarCraft 2 a.

Pour ceux qui ne le font pas comme aux jeux de jeux de chercheurs, OpenAI il y a des résultats intéressants: un jeu compétitif de soi, l'apprentissage d'autres modèles, échanges d'apprentissage et de la coopération, bien sûr, Facebook est d'apprendre à négocier. Je veux être en mesure de voir ces résultats dans le robot de chat dans le prochain à deux ans, mais jusqu'à présent, il y a beaucoup de recherches à faire.

Facebook robot de négociations

AI besoin d'explications

Laisser refroidir en utilisant un réseau de neurones, vous pouvez utiliser différentes couches du réseau de neurones, reliant différentes densités de 0,05 peut être soulevée dans le IMAGEnet, peut même être appliquée à l'analyse des images radiologiques médicales, mais même si elles ne sont pas explicites, nous avons vraiment vous pouvez compter sur eux?

Je veux savoir pourquoi le réseau estime que cette image est un chien, pourquoi vous pensez que cette personne sourit, ou pourquoi j'ai une maladie.

Cependant, même si le réseau de neurones peut donner des résultats très précis, mais il ne donne pas de réponses aux questions ci-dessus:

L'interprétation de l'AI est toujours considéré comme une question ouverte, même si nous avions un certain nombre d'applications réussies, telles que: des règles d'extraction à base d'arbres (extraction de règles basées sur les arbres des réseaux profonds) d'une profondeur de réseaux de neurones, la visualisation de la couche de convolution , ainsi que des concepts plus complexes, tels concepts implicites (de conception latente), avec ou en train FIG ou de générer une interprétation visuelle:

Photos de https://arxiv.org/pdf/1603.08507.pdf

Ainsi que le meilleur modèle: InterpretNet:

Photos de https://arxiv.org/pdf/1710.09511.pdf

Nous devons également accorder plus d'attention à l'approche bayésienne, il est possible de suivre la prévision déterministe. Il doit avoir été un sujet brûlant de l'apprentissage machine l'année prochaine.

AI Sécurité: plus est un petit problème

Après explication AI, pour résoudre la deuxième tâche importante est la vulnérabilité des algorithmes d'apprentissage machine modernes, il est facile d'être conflictuel attaque de l'échantillon.

https://blog.bigml.com/2016/09/30/hype-or-reality-stealing-machine-learning-models-via-prediction-apis/

https://blog.openai.com/adversarial-example-research/

Pour ces problèmes, Ian Goodfellow a fait l'uvre originale des nommés Hans le Malin. Ainsi que la vie privée et des données données chiffrées sur la base de la question de la formation, vous pouvez voir l'excellent article du Dr Oxford, qui montre un simple réseau de neurones homomorphic exemple de cryptage.

Nous devons protéger l'entrée de la grippe aviaire (de la confidentialité des données), la structure interne (pour éviter d'être attaqué), et il a appris (pour assurer la sécurité de ses opérations)

Cependant, ce ne sont pas tous les problèmes de l'intelligence artificielle aujourd'hui, d'un point de vue mathématique (en particulier dans l'apprentissage de renforcement), l'algorithme est toujours pas sûr d'explorer l'environnement, ce qui signifie que si nous faisons le robot physiquement libre d'explorer le monde, ils sont en formation le processus ne peut pas éviter complètement de faire des erreurs ou des comportements dangereux, alors que nous nous adaptons ne pouvons toujours pas pleinement à notre nouveau modèle de distribution, la capacité de généralisation du modèle est une question importante, par exemple la formation basée sur le jeu de données dans le monde réel du réseau difficile d'identifier peint à la main objets, et bien d'autres, vous pouvez consulter l'article suivant:

https://blog.openai.com/concrete-ai-safety-problems/

DeepMind: Spécification problèmes de sécurité AI (AI Lei Feng Network Technology Review)

Optimisation: gradient de quoi?

Je suis un grand fan de la théorie de l'optimisation, je pense que la meilleure méthode pour optimiser l'examen en 2017 par Sebastian Ruder a écrit: http: //ruder.io/deep-learning-optimization-2017/.

Ici, je voudrais passer en revue l'amélioration générale de SGD + plusieurs façons d'inverser la propagation de:

• Synthèse gradient (gradient synthétique) et d'autres méthodes permettant d'éviter des règles complexes par le réseau profond de la chaîne.

• Les minima locaux algorithmes évolutionnistes pour l'apprentissage amélioré (algorithme évolutionnaire), en utilisant une perte de fonction non différentiables, afin d'éviter possible

• SGD amélioré, meilleur taux d'apprentissage et de planification de la taille des lots

• Optimisation d'apprentissage, le problème d'optimisation lui-même est considéré comme un problème d'apprentissage.

• Optimisation spatiale différente, si la formation dans notre réseau espace de Sobolev ce qui va se passer?

Photos de

Je crois que, par algorithme évolutionnaire pour résoudre le problème d'optimisation de la fonction non-différentiables, l'apprentissage de renforcement et de la technologie d'optimisation d'apprentissage, nous aidera à former plus efficacement les modèles AI.

graphiques 3D et l'apprentissage en profondeur géométrique (apprentissage en profondeur Géométrique)

Avant le discours est apparu sur les lignes de contact, je n'étais pas vraiment au courant de ce problème. Bien sûr, je sais que les données du monde réel est généralement situé dans un espace de dimension supérieure, et les données et informations lui-même a sa propre géométrie et la topologie. objet en trois dimensions peut être considéré comme un nuage de points, mais en réalité, il est une surface (collecteur d'admission), une forme locale et globale de leur mathématique (géométrie différentielle) ayant. Ou prendre en considération. La figure (graphique), vous pouvez utiliser certains d'entre eux pour décrire la forme de la matrice de contiguïté, mais vous perdrez une partie ou d'un modèle structurel local. Autre pluralité d'objets tels que des images, des sons, du texte peut également être considéré comme de la géométrie. Je crois que nous aurons beaucoup d'idées intéressantes de la recherche dans ce domaine.

Toutes les données ont une géométrie locale et globale, nous ne pouvons pas être évité

Vous pouvez trouver plus d'informations à ce lien:

conclusion

En plus du contenu discuté ci-dessus, on peut aussi parler de la représentation des connaissances, étude sur la migration, l'apprentissage unique, l'apprentissage bayésien, aspects peuvent micro-ordinateur, etc., mais en fait, ces zones ne sont pas entièrement préparés, et non en 2018 dans les pays développés à une nouvelle étape. l'apprentissage bayésien, nous sommes dans un échantillon mathématique, frais de calcul différentiel, mais la machine de Turing nerveuse, ordinateur de neurones dérivés DeepMind reste difficile à atteindre, l'étude de caractérisation a été au cur de l'algorithme d'apprentissage en profondeur, il ne vaut pas l'écriture; unique (one-shot) et moins de temps (quelques-shot) apprendre la même n'a pas été mis au point, il n'y a pas de critères d'évaluation bien définis et des ensembles de données. Je souhaite que les sujets mentionnés dans cet article peuvent progressivement mûrir et 2019 - 2020 plus d'applications dans le monde réel.

De plus, voici un peu d'espoir que nous pouvons prêter attention sur le site, un grand nombre des derniers progrès de la recherche qu'ils peuvent fournir:

OpenAI, DeepMind, IBM AI Research, Berkley AI, Stanford ML Group, Facebook Recherche, la recherche Google (afin de faciliter les amateurs de domestiques à lire, Lei Feng réseau AI Technology Review a également compilé la première fois où l'article merveilleux)

via AI en 2018 pour les chercheurs, plus en profondeur la couverture de l'intelligence artificielle Restez à l'écoute