Ji-won nouvelle compilation

Apprentissage en profondeur l'école d'été de l'Université de Montréal prestigieux chef d'étude approfondie Yoshua Bengio a appelé, nous avons réuni chaque année en haut de la profondeur de l'apprentissage et les chercheurs de l'intelligence artificielle pour l'enseignement. L'école d'été de cette année est la première augmentation des cours d'apprentissage de renforcement.

Apprentissage en profondeur l'école d'été

La profondeur du réseau de neurones, à savoir, l'apprentissage des réseaux neuronaux multicouches dans les données représentant l'abrégé, a considérablement amélioré la reconnaissance vocale, la reconnaissance d'objets, la détection d'objets, les molécules médicamenteuses actives de prédiction, et de nombreuses autres techniques. Exprimé apprentissage en profondeur (apprentissage supervisé, apprentissage non supervisé, apprentissage par renforcement) structures complexes trouvées dans les grandes données centralisées par la construction distribuée.

Apprentissage en profondeur l'école d'été (DSSAT) pour les étudiants des cycles supérieurs, ingénieurs et chercheurs, les exigences ont maîtrisé les rudiments de l'apprentissage de la machine (y compris l'apprentissage en profondeur, mais pas nécessaire), et que vous voulez en savoir plus sur ce domaine à croissance rapide de l'étude.

Le DSSAT de cette année par Graham Taylor, Aaron Courville et Yoshua Bengio organisation.

Apprentissage par renforcement école d'été

Ceci est la première session de l'Université de Montréal Apprentissage par renforcement école d'été (RLSS), et DSSAT sont complémentaires. RLSS couvrira les bases de l'apprentissage par renforcement, et de présenter les dernières tendances et les résultats de la recherche, offrir des possibilités interactives pour les étudiants des cycles supérieurs et chercheurs de haut niveau dans le domaine.

École d'été pour la question de l'apprentissage de la machine d'apprentissage de renforcement et des domaines connexes des étudiants diplômés. Les participants doivent avoir une formation préalable de la science informatique senior et les mathématiques, les élèves donnent la priorité aux projets d'apprentissage de la machine et le laboratoire de l'ICRA recherche sur le cerveau.

RLSS Cette année, organisée par Joelle Pineau et Doina Precup.

À l'heure actuelle, une partie de l'étude approfondie du programme a été achevé, toutes la conférence publique officielle PPT, une partie de cours d'apprentissage en profondeur de cette année:

• Université de Montréal Yoshua Bengio conférence sur « récurrente Neural Networks. »

• Phil Blunsom Google Président traitement liée langage naturel contenu, divisé en deux parties « traitement du langage naturel, la modélisation du langage et de la traduction automatique » et « la structure et les fondations du langage naturel. »

• Aaron Courville Université de Montréal Président « modèle de génération. »

• Google cerveau Hugo Larocelle parler sur « réseau de neurones. »

• parler Université McGill Doina Precup sur "Introduction à l'apprentissage de la machine."

• Mike Osborne à l'Université d'Oxford, a parlé de « l'apprentissage en profondeur des nombres de probabilité. »

• Blake Aaron Richards de l'Université de Toronto Président « de l'apprentissage en profondeur du cerveau. »

Yoshua Bengio parler sur le « temps réseau de neurones récurrents »: RNN 7 Conseils

haut-parleur Bengio le thème de cette année est « Le temps récurrent réseau de neurones. » Dans un réseau de neurones, le temps de modèle de réseau neuronal récurrent en mettant à jour un récursif, de manière sélective à une séquence de vecteur d'entrée extrait d'un état de taille fixe. Le temps récurrent réseau de neurones pour produire une sortie à chaque point de temps.

RNN peut être caractérisée d'une direction générer un modèle entièrement connecté, à savoir, peut être prédite à partir de chaque variable du préambule de la variable.

Il décrit les différents types de RNN dans son discours: RNN deux voies, réseau récursif, multi-dimensionnelle RNN etc., selon PPT vocale, descente de gradient d'apprentissage dépendance à long est très difficile. En 1991, Bengio au MIT, la recherche effectuée dans l'échantillon expérimental, ne peut faire deux types de séquences.

apprentissage en gradient Pourquoi est-il difficile? Bengio que, par rapport à charge à court, à long dépendante acquis droit de mener une petite, petite de façon exponentielle. Par conséquent, RNN peut être vu à partir des exemples, les gradients disparaît dans la profondeur du réseau est très difficile. Par conséquent, afin de stocker des informations sur une base stable, dynamique doit se rétrécir.

A propos RNN sept conseils:

gradient Cut (gradient éviter de surcharge)

Fusion de la vulnérabilité (pousser dépendance à long terme)

L'énergie cinétique (pas cher deuxième année)

Initialisation (début dans la plage correcte, afin d'éviter les surcharges / disparaître)

gradient Sparse (violation de symétrie)

propagation de régularisation gradient (pour éviter gradient disparaît)

Porte de la circulation (LSTM & GRU, gradient réduit disparait)

Il a souligné les mécanismes de l'attention dans son discours: les progrès rapides de 20 ans: l'autorisation de la mémoire pour le mécanisme d'attention

Turation Neural Networks

souvenirs

Utiliser un accès en lecture-écriture à des mécanismes basés sur le contenu de l'attention que la mémoire de commande

des mécanismes attentionnels sera une position de sortie au-delà de la mémoire de Softmax

étude approfondie schématique du mécanisme de l'attention

mécanismes attentionnels été appliquée en traduction de bout en machine, et avec grand succès.

conception de l'architecture RNN

Bengio cours toutes les adresses PPT:

https://drive.google.com/file/d/0ByUKRdiCDK7-LXZkM3hVSzFGTkE/view

Président Google Phil Blunsom traitement du langage naturel

Le langage naturel est devenu un centre de la profondeur de l'Université de Montréal étude actuelle de l'école d'été.

Phil Blunsom de Google dans les deux rapports ont été présentés dans le « traitement du langage naturel, la modélisation du langage et de la traduction automatique » et « structure de langage naturel et la fondation »

Dans ce rapport, l'orateur a présenté Modeling Language Les trois canaux:

• En calculant le modèle n-gramme, nous avons observé une histoire approximative des premiers mots de n avec des mots.

• Dans l'espace continu, le réseau de neurones n-gramme Modèle enrobage de la même histoire n-gramme fixe, afin de mieux saisir la relation entre autre histoire.

• Le temps récurrent réseau de neurones, nous avons mis fin une histoire fixe n-gramme et toute l'histoire comprimée à un vecteur de longueur fixe, de sorte que peut être capturé la longue distance associée.

Université de Montréal Aaron Courville Président: modèle de génération

Boursier de l'ICRA, Aaron Courville Université de Montréal a enseigné un certain modèle de génération de clés dans cette leçon. Aaron est Courville autre que encore un autre domaine de l'intelligence artificielle « matériaux de classe Bible », « l'apprentissage en profondeur » (Deep Learning) un tiers du livre - les deux autres sont Ian Goodfellow et Yoshua Bengio.

Nous savons que, du point de vue du modèle, l'apprentissage non supervisé dans le modèle non probabiliste et modèle probabiliste. codage Sparse, le codeur et à partir des K-moyennes sont modèle non probabiliste, le modèle de probabilité dérivé dans les deux branches: modèle de densité explicites (modèle explicite densité) et le modèle de densité récessif (Densité implicite du modèle), généré contre réseau (GAN) appartient à ce dernier.

modèle explicite de densité est divisée en modèle aeschynite (tractable le modèle) et le modèle incompréhensible (non Tractable Model). NADE, PixelRNN appartiennent modèle résoluble, la machine de Boltzmann (BMV), la variation du codeur (VAE) appartient à obscurcir modèle.

Courvill de cette classe a été divisée en deux parties, un exemple pour parler PixelCNN modèle autorégression et VAE et GAN (y compris WGAN) parlent des modèles variables latentes.

Google cerveau Hugo Larocelle Président réseau de neurones

Formulaire de cours « réseau de neurones » conférences vidéo en ligne, seront très attentifs à expliquer la connaissance du réseau de neurones artificiels, couvrant: les réseaux de neurones est comment obtenir f (x) prédite à partir de l'entrée x, avant la nécessité de comprendre la propagation des neurones de type; comment former des données à base de réseau de neurones (classificateurs), besoin de comprendre la fonction de perte, gradient rétropropagation descente algorithme, certaines compétences de formation et ainsi de suite; apprentissage en profondeur: préformation sans supervision, l'abandon, la normalisation des lots.

Doina Precup Président Introduction à l'apprentissage automatique Université McGill

Cet exposé présente quelques problèmes types d'apprentissage de la machine, et une approximation linéaire, la fonction d'erreur / fonction objet méthode d'optimisation de la machine, le compromis de la variance de décalage et surapprentissage mauvais montage, estimateur linéaire régularisation L2 et L1, régularisé interprétation bayésienne, et une régression logistique. Type de machine problèmes d'apprentissage comprennent l'apprentissage supervisé, l'apprentissage de renforcement et de l'apprentissage non supervisé, ce cours magistral à la détection des visages et la reconnaissance, TD-Gammon, la détection des tumeurs, etc. À titre d'exemple sont expliqués et mis en place pour répondre à ces types de problèmes, les procédures et les méthodes disponibles.

Oxford probabilité numérique de Mike Osborne Président apprentissage en profondeur

Blake Aaron Richards de l'Université de Toronto Président étude approfondie du cerveau

Notre perception, l'action et la mémoire viennent? De notre activité du système nerveux des neurones. Le cerveau humain a des milliards de neurones dans le cerveau, ces neurones connexions synaptiques entre eux, ainsi que la force de ces liens réglés avec précision pour rendre la plupart des fonctions physiologiques complexes de cette planète mystérieuse possible.

Cependant, ces connexions ne sont pas déterminés par le génome humain. Que ce soit les insectes ou les humains, les connexions neuronales sont acquises sous forme, l'animal utilisera les informations des expériences sensorielles et motrices pour former les connexions synaptiques entre les neurones.

ICRA chercheur associé, recherche Blake Richards est neurophysiologie, neurosciences et systèmes neurosciences computationnelles. Computational Neuroscience par des méthodes et des concepts dans le cadre de la modélisation du système nerveux et l'analyse des applications informatiques, intégrant une variété de travaux de tentative de simulation du système nerveux. Parmi ceux-ci, il utilise l'apprentissage automatique et de mathématiques appliquées aux questions de réponse dans les neurosciences.

Richards en profondeur l'apprentissage école d'été parler d'un sujet très intéressant - « le cerveau de l'apprentissage en profondeur. » réseaux de neurones artificiels déjà mimétique de nombreux concepts de réseaux de neurones humains, profond apprentissage lui-même est une personne à faire le calcul invention neurologique. Par conséquent, le cerveau utilisera l'apprentissage en profondeur n'est pas surprenant. décrit Richards l'application potentielle de la recherche en cours dans l'étude réelle profondeur du cerveau. Plus précisément, essentiellement de rétro-propagation (rétropropagation).

Dans la dérivation des algorithmes et des formules mathématiques, l'expérience du cerveau est l'apprentissage en profondeur.

Tous les documents Télécharger

Phil Blunsom - Traitement du langage naturel, langage de modélisation et traduction automatique (Télécharger: http: //t.cn/RoD3R3Y)

Blunsom - Structure et mise à la terre en langage naturel (téléchargement: http: //t.cn/RoD3dLy)