Source: New Ji-won

Cet article sur 1000 Word, lecture recommandée 5 minutes.

Ce cours couvre les bases de l'apprentissage en profondeur, comme l'apprentissage de renforcement ainsi que plus récente, GAN et ainsi de suite. étude approfondie CMU a commencé l'automne! enseignants Président profondeur cours d'apprentissage est Daniel, Bhiksha Raj CMU School of Computer Science, le cours couvre les bases de l'apprentissage en profondeur, ainsi que plus récemment l'apprentissage, GAN et ainsi sur le renforcement. étude approfondie et la recherche dans le domaine de la CMU a été à l'avant-garde du monde, il est le matériel de cours presque introduction de choix, des diapositives et des programmes vidéo continueront d'ouvrir le cours des progrès , Vous voulez que le système d'apprendre et de maîtriser l'apprentissage en profondeur des lecteurs ne manquent pas.

Description du cours

Profondeur réseau de neurones au nom des systèmes « d'apprentissage en profondeur » sont de plus en plus affiché leurs prouesses dans diverses tâches IA, y compris la compréhension du langage, de la parole et de reconnaissance d'image, la traduction automatique, la planification, et même des jeux et le pilote automatique. Par conséquent, apprendre à saisir la profondeur de l'expertise a été progressivement transformé en les maintenant de nombreux problèmes insondables universitaires supérieurs doivent maîtriser les connaissances de base, l'apprentissage et la profondeur des talents sur le marché du travail a également un grand avantage.

Dans ce cours, nous allons apprendre les rudiments de la profondeur des réseaux de neurones et de leurs applications dans diverses tâches AI. Après la fin du cours, les étudiants auront une compréhension suffisante des sujets de cours et la profondeur peut être appliquée à diverses tâches d'apprentissage. Les élèves lisent beaucoup de la littérature actuelle sur le terrain, et d'élargir leurs connaissances professionnelles par le biais d'autres recherches.

Le concept de ce cours implique très complet. Il aidera les élèves à comprendre la profondeur de la base de l'apprentissage. Les cours commencent à parler de la MLP (Multilayer Perceptron) et passer à des concepts plus complexes, comme le modèle de l'attention et des modèles de séquence à séquence. Les élèves doivent saisir pleinement PyTorch, il est important de réaliser le modèle d'apprentissage en profondeur.

En tant qu'étudiant, vous apprendrez les outils nécessaires pour construire le modèle d'apprentissage en profondeur. Les opérations sont a généralement deux parties, à savoir, Autolab et Kaggle . section Kaggle nous permet d'explorer une variété d'architectures et d'apprendre comment régler et le modèle d'amélioration continue. Toutes les tâches sont des emplois similaires, apprendre à utiliser une variété de méthodes pour résoudre la même tâche d'apprentissage en profondeur est très intéressant. Dans l'ensemble, à la fin de ce cours, vous aurez assez de confiance pour construire et profondeur tune modèle d'apprentissage.

Les instructeurs: Bhiksha Raj (bhiksha@cs.cmu.edu) TA: Ryan Brigden (rbrigden@andrew.cmu.edu) Raphael Franck Olivier (rolivier@andrew.cmu.edu) Sai Nihar Tadichetty (ntadiche@andrew.cmu.edu) Shubham Tripathi (shubhamt@andrew.cmu.edu) Soham Ghosh (sohamg @ andrew.cmu.edu) Madhura Das (madhurad@andrew.cmu.edu) Ipsita Prakash (iprakash@andrew.cmu.edu) Dhruv Shah (ddshah@andrew.cmu.edu) Shaden Shaar (sshaar@andrew.cmu.edu ) David Zhang (davidz1@andrew.cmu.edu) Anushree Prasanna Kumar (apkumar@andrew.cmu.edu) Ahmed Shah (mshah1@andrew.cmu.edu) Jiawei Yang (jiaweiy@andrew.cmu.edu) Omar Khattab pour Doha (okhattab@cmu.edu) Nebiyou Yismaw pour Kigali (nyismaw@andrew.cmu.edu) Pré-requis

1. Nous allons utiliser un kit grand public (principalement PyTorch). Boîte à outils utilisé python Programmation. Vous devez être en mesure d'utiliser au moins un langage de programmation. Ou bien, vous pouvez utiliser le langage de programmation familier, mais doivent trouver leur propre apprentissage et le kit correspondant.

2. Vous devez être familier avec base Calcul (différenciation, la règle de la chaîne), Linear Algebra et Connaissance de base des probabilités .

Matériel pédagogique

Ce cours ne sera pas effectuée conformément à un manuel, mais choisira un grand nombre d'informations. Nous répertorions la bibliographie pertinente et fournira des liens vers des documents de lecture connexes pour chaque unité. Les élèves doivent se familiariser avec ces matériaux avant la classe. Les lectures obscurcissent parfois, mais ne vous inquiétez pas, nous donnerons une explication plus simple dans la salle de classe.

• Forums de discussion: Piazza
• Nous utilisons Piazza discuter des liens:
• https://piazza.com/class/jhyyudofj9u4za

• Vous pouvez en savoir plus sur La littérature actuelle du répertoire modèle :
• https://www.datasciencecentral.com/profiles/blogs/concise-visual-summary-of-deep-learning-architectures
• Si vous ne pouvez toujours pas comprendre pleinement, et nous espérons à la fin du cours, vous pouvez comprendre la majorité de l'architecture du modèle wiki et des répertoires.

• Kaggle:
• Kaggle est une plate-forme très populaire pour les données scientifiques, les participants au concours en créant le meilleur modèle pour étudier ou analyser un ensemble de données. Les travaux de cours devra évaluer les résultats présentés au leaderboard Kaggle.

Livres connexes

• Apprentissage en profondeur par Ian Goodfellow, Yoshua Bengio, Aaron livre en ligne Courville, 2017
• Réseaux de neurones et Michael Nielsen Par deep learning livre en ligne, 2016
• L'apprentissage en profondeur avec PythonBy J. Brownlee
• Apprentissage en profondeur Étape par étape avec Python: Une très douce Introduction aux réseaux profonds neurales pour la science pratique des données par N. D. Lewis
• Parallèle traitement réparti par Rumelhart et McClelland Epuisé, 1986

Contenu du cours

Lecture 1 (8,29):

• apprentissage en profondeur Présentation
• programme d'études
• Histoire et base cognitive de calcul neuronal
• Perceptron et Multilayer Perceptron

diapositives: vidéo: https://www.youtube.com/watch?v=aPY-KC6zeeI

Exposé 2 (8,31):

• Neural Network: un approximator universel

diapositives:

Exposé 3 (9.5):

• La formation d'un réseau de neurones
• règle d'apprentissage Perceptron
• ERM
• Procédé de descente de gradient pour optimiser

Exposé 4 (9.10):

• Rétropropagation
• Calcul d'apprentissage rétropropagation

Lecture 5 (9.12):

• La convergence des réseaux de neurones
• taux de convergence
• Fonction de perte
• Taux d'apprentissage et des méthodes d'optimisation
• RMSProp, Adagrad, Momentum

Lecture 6 (9.17):

• descente de gradient Stochastique
• accélérer
• Surajustement et régularisation
• Astuce: Sélectionner la fonction divergence (perte), la normalisation des lots, Dropout

Exposé 7 (9.19):

• réexaminent
• Étudiant Q & A

Exposé 8 (9.24):

• Poursuivre le problème d'optimisation

Exposé 9 (9.26):

• réseau neuronal convolutif (CNN)
• Poids en tant que modèles
• traduction invariance
• Utiliser la formation de partage des paramètres

Lecture 10 (10.1):

• vision Modèle
• Machine neurocognitif (Neocognitron)
• détails mathématiques de CNN
• Alexnet, Inception, VGG

Lecture 11 (10.3):

• Recurrent Neural Network (RNNs)
• Modélisation série
• propagation à travers le temps
• Deux voies RNN

Lecture 12 (10,8):

• Modèle de stabilité
• explosion gradient / disparaître
• unité mémoire à court et à long terme (LSTM) et ses variantes
• Resnets

Lecture 13 (10,10):

• Fonction de perte des boucles dans un réseau
• Prévision série

Lecture 14 (10.15):

• Procédé séquence dans la séquence
• classification en temps connexionniste (CTC)

Lecture 15 (10.17):

• La séquence (un exemple de la parole et du langage) modèle de série, le modèle d'attention

Lecture 16 (10.22):

• Quels réseaux représentent?
• Autoencoder et la réduction de la dimension
• En savoir représentation

Lecture 17 (10,24):

• codeur de variation automatique (VAE)

Lecture 18 (10,29):

• Généré contre le réseau (Gans) une première partie

Lecture 18 (10,31):

• Généré contre le réseau (Gans) une seconde partie

Lecture 19 (11.5):

• Hopfield réseau de neurones
• Machine de Boltzmann (Boltzmann Machines)

Lecture 20 (11,7):

• Formation Réseau Hopfield
• réseau aléatoire Hopfield

Lecture 21 (11.12):

• Restreint Boltzmann machine
• Profondeur Machine Boltzmann

Lecture 22 (11.14):

• Renforcement d'apprentissage 1

23. souligne (11.19):

• Apprentissage par renforcement 2

Lecture 24 (11.21):

• Action de grâces

Lecture 25 (11,26):

• Apprentissage par renforcement 3

L'article 26 parle (11,28):

• Apprentissage par renforcement 4

27 parlant (12.3):

• Apprentissage par renforcement 4
• l'apprentissage Q
• Q étude approfondie

Lecture 28 (12,5):

• Les tendances du nouveau modèle et la profondeur de l'apprentissage
• cours d'examen

CMU apprentissage en profondeur les premiers extraits de leçon de PPT Pour plus d'informations, s'il vous plaît consulter le site officiel: