Auteur: Ian Goodfellow, Yoshua Bengio, Aaron Courville. Ian Goodfellow, 2014 PhD Apprentissage Université de Montréal, chercheur Google. L'étude couvre la majeure partie de la profondeur des sujets d'apprentissage, notamment pour générer un modèle de sécurité et de confidentialité, et l'apprentissage de la machine, la confrontation est un des chercheurs influents dans des recherches antérieures sur l'échantillon, et l'invention de la formule contre le réseau. Yoshua Bengio, professeur du département de recherche en informatique et des opérations, co-chef de l'Institut de Montréal pour l'algorithme d'apprentissage (MILA), la personne responsable, programme de l'ICRA, des algorithmes d'apprentissage statistique de recherche du Canada président. Le principal objectif est de comprendre les principes de l'apprentissage pour produire des renseignements, il des cours de deuxième cycle a également enseigné l'apprentissage machine (IFT6266), et formé un grand nombre d'étudiants diplômés et post-doctorat. Aaron est un membre Courville professeur adjoint des sciences informatiques et des opérations Département de la recherche (DIRO) de l'Université de Montréal, est le laboratoire LISA. intérêts de recherche approfondies portent sur l'élaboration de modèles et de méthodes d'apprentissage, en particulier le développement de nouveaux modèles probabilistes et les méthodes d'inférence. L'objectif principal sur les applications de vision informatique, traitement du langage naturel, le traitement du signal audio, la compréhension de la parole et d'autres domaines connexes de l'intelligence artificielle de a également été étudié.

Presse: Messages populaire et des télécommunications de presse

Publié: Juillet 2017

Au loin, dans la Grèce antique, l'inventeur rêvait de créer une machine peut penser de façon indépendante. Mythological Pygmalion (Pygmalion), Daedalus (Dédale) et Héphaïstos (Héphaïstos) peut être considéré comme l'inventeur légendaire, et Galatée (Galatée), Talos (Talos) et Pandora (Pandora) peut être considéré comme la vie artificielle (Ovide et Martin, 2004; Sparkes, 1996, Tandy, 1997).

Quand les humains premier concept d'ordinateur programmable, pensant déjà à l'ordinateur peut devenir intelligent (Bien qu'il fait le premier ordinateur à partir d'une centaine d'années) (Lovelace, 1842). Aujourd'hui, AI (intelligence artificielle de, AI) est devenue une zone active et de nombreuses applications pratiques de la recherche, et est en plein essor. Nous nous attendons à un travail de routine gérer automatiquement par un logiciel intelligent, la compréhension de la voix ou l'image, aide et soutien à la recherche scientifique fondamentale dans le diagnostic médical.

Au début, ce sont très difficiles pour l'intelligence humaine est l'intelligence artificielle, mais l'ordinateur est un problème relativement simple être résolu rapidement, par exemple, ces questions peuvent être décrites par une série de règles mathématiques formelles. Le véritable défi est de résoudre l'intelligence artificielle de ces personnes, il est facile à réaliser, mais il est difficile de description formelle des tâches, telles que l'identification des personnes dit ou les visages dans une image. Pour ces problèmes, nous les êtres humains peuvent souvent être facilement résolus par l'intuition.

En réponse à ces problèmes plus intuitives, ce livre traite une solution. Le programme permet aux ordinateurs apprendre de l'expérience, et de comprendre le monde basé sur le concept de système hiérarchique, et chaque concept est défini par les relations avec un concept relativement simple. Activer les ordinateurs pour obtenir des connaissances de l'expérience, peut être évité de préciser toutes les connaissances dont il a besoin d'être formalisé par un ordinateur humain. Le concept de l'ordinateur hiérarchique permet de construire concept relativement simple à apprendre des concepts complexes. Si vous dessinez un diagramme montrant comment ces concepts se renforcent mutuellement, nous aurons un « profond » (plusieurs niveaux) sur la figure. Pour cette raison, nous appelons cette méthode  AI apprentissage profond (apprentissage en profondeur) .

Au début AI: tâche d'exécution abstraite et formelle

Les premiers succès d'un grand nombre AI a eu lieu dans un environnement relativement simple et formel, et ne nécessite pas d'ordinateur avec beaucoup de connaissances sur le monde. Par exemple, Deep Blue d'IBM système d'échecs (Deep Blue) en 1997, a battu le champion du monde Garry Kasparov (Hsu, 2002). De toute évidence Chess est un domaine très simple, car il ne contient que 64 positions et seulement de manière strictement limitée à déplacer 32 pièces. Concevoir une stratégie d'échecs réussie est une grande réussite, mais pour décrire les morceaux et laissez l'ordinateur et la promenade est pas difficile où ce défi. Echecs peut par un très bref, la liste officielle des règles pour décrire complètement, et peut être facilement préparé à l'avance par le programmeur.

Ironie du sort, la tâche abstraite et formelle de l'être humain est l'un des plus difficile tâche mentale, mais pour un ordinateur, il appartient à la plus facile. L'ordinateur a été en mesure de temps pour battre les meilleurs joueurs d'échecs humains, mais jusqu'à récemment l'ordinateur pour atteindre le niveau moyen de la voix humaine pour identifier l'objet ou de la tâche. la vie quotidienne d'une personne exige une énorme quantité de connaissances sur le monde. Beaucoup de ces connaissances est subjective, intuitive, ce qui rend difficile d'articuler par voie formelle. L'ordinateur a besoin d'acquérir les mêmes connaissances afin de démontrer l'intelligence. Un défi est de savoir comment l'intelligence artificielle ces connaissances non formelle de transmettre à l'ordinateur.

Certains projets d'intelligence artificielle cherche connaissance du monde du codage en dur (hard-code) avec le langage formel. L'ordinateur peut utiliser des règles de raisonnement logique pour comprendre automatiquement la langue officielle de ces déclarations. Ceci est connu comme méthode de l'intelligence artificielle, la base de connaissances (base de connaissances). Cependant, ces projets n'a finalement pas atteint grand succès. Le projet le plus célèbre est Cyc (Lenat et Guha, 1989). moteur d'inférence Cyc et comprend une base de données de déclaration qui utilise un langage CycL décrit. Ces déclarations sont saisies par un superviseur humain. Ce processus est maladroit. Les gens qui essaient de concevoir une des règles formelles suffisamment complexes pour décrire avec précision le monde. Par exemple, Cyc ne peut pas comprendre l'histoire d'un homme du nom de Fred raser le matin (Linde, 1992). Il moteur d'inférence de détecter des incohérences dans l'histoire: il connaît la constitution du corps ne contient pas de pièces électriques, mais parce que Fred tenait un rasoir électrique, il considère l'entité - « est le rasage Fred » ( « FredWhileShaving » ) contenant les composants électriques. , Il produit donc une telle question de savoir si --Fred pendant le rasage est encore une personne.

l'apprentissage de la machine: résolution de problèmes liés à la connaissance du monde réel

Difficulté se fondant sur les visages des connaissances codées en dur montrent, le besoin du système AI d'avoir la capacité d'acquérir des connaissances, le mode de capacité qui est extrait à partir des données brutes. Cette capacité est appelée apprentissage machine (apprentissage automatique). L'introduction de l'apprentissage de la machine permet à un ordinateur pour résoudre des problèmes impliquant des connaissances dans le monde réel, et peut prendre les décisions apparemment subjectives. algorithme d'apprentissage machine simple, comme une régression logistique appelée (régression logistique) peut décider de recommander la césarienne (Mor-Yosef et al., 1990). La même chose est tout simplement naïf algorithmes d'apprentissage machine Bayes (Naive Bayes) peuvent établir une distinction entre email légitime et spam.

Les performances de ces algorithmes simples d'apprentissage de la machine repose en grande partie sur la présentation (représentation) des données fournies. Par exemple, lorsque la régression logistique pour déterminer la pertinence de la césarienne maternelle, le système AI n'est pas directement examiner le patient. , Les médecins ont besoin au lieu de dire quelques systèmes d'information connexes, comme la présence ou l'absence de cicatrice utérine. Il indique les patients chaque message est appelé une fonction. Ces caractéristiques de régression logistique pour apprendre comment les patients sont associés à une variété de résultats. Cependant, il n'a pas d'incidence sur la façon dont la définition de la fonction. Si l'IRM (résonance magnétique) du patient scan au lieu d'un rapport officiel à un médecin en entrée à la régression logistique, il ne sera pas faire des prédictions utiles. L'IRM et un seul pixel lors de l'accouchement corrélation entre les complications minimales.

Dans l'ensemble de l'informatique et même la vie quotidienne, la dépendance de la représentation est un phénomène commun. Dans l'informatique, si les ensembles de données sont l'indice compact et intelligemment structuré, la vitesse de traitement de fonctionnement, comme une recherche ou analogue peut être exponentielle accélérée. Il peut facilement être en chiffres arabes représentation arithmétique, mais dans la représentation en chiffres romains serait plus opération de temps. Donc, sans surprise, avoir un impact énorme sur les performances d'un algorithme d'apprentissage automatique choisira la représentation. La figure 1 montre un exemple simple visualisation.

Figure 1: Supposons que nous voulons tracer une ligne pour séparer les deux types de données dans un diagramme de dispersion. A gauche, nous utilisons les données de coordonnées cartésiennes indiquant que la tâche est impossible. Dans le panneau de droite, nous avons exprimé les données en coordonnées polaires, la ligne verticale peut facilement résoudre cette tâche (coopération David Warde-Farley avec le dessin sur cette figure)

• apprend

De nombreuses tâches AI peuvent être résolus de la manière suivante: tout d'abord, pour extraire un ensemble approprié de fonctions, alors ces fonctions pour fournir une machine simple algorithme d'apprentissage. Par exemple, pour la tâche par le haut-parleur pour l'identification vocale, une fonction utile est d'estimer la taille de ses canaux. Selon le juge, le haut-parleur est de fournir un indice important pour les hommes, les femmes et les enfants.

Cependant, pour de nombreuses tâches, il est difficile de savoir quelles fonctions sont extraites. Par exemple, supposons que nous voulons écrire un programme pour détecter les photos de la voiture. Nous savons que la voiture a des roues, donc nous pourrions l'utiliser ou non comme fonctionnalité existe roue. Malheureusement, nous ne pouvons pas être décrire avec précision ce que les regards roue aiment sur la base des valeurs de pixels. Bien que la roue a une forme géométrique simple, mais il peut provoquer des images à des scènes différentes, comme une ombre tombe sur la roue, éclairée par la roue solaire de pièces métalliques d'une aile de voiture ou d'une partie occluse de l'objet de premier plan comme une roue .

Une façon de résoudre ce problème est d'utiliser l'apprentissage de la machine pour découvrir se représenter, non seulement représentant cartographiés à la sortie. Nous appelons cette approche d'apprentissage (prend connaissance de la représentation).

Apprendre à exprimer plus souvent que la représentation de la conception manuelle de meilleurs résultats. Et ils nécessitent une intervention manuelle minimale, vous pouvez laisser le système AI d'adapter rapidement aux nouvelles tâches. algorithme d'apprentissage représente seulement quelques tâches simples qui peuvent trouver un bon ensemble de fonctionnalités pour des tâches complexes dont vous avez besoin de quelques heures à plusieurs mois. la conception manuelle comporte une tâche complexe et nécessite beaucoup de travail, de temps et d'efforts, et prend même une communauté de chercheurs décennies.

Un exemple typique est représenté par l'algorithme d'apprentissage du codeur (autoencoder). Fonction de l'encodeur et un décodeur (DECODER) fonction d'une combinaison d'un codeur (encodeur) ensemble. La fonction codeur convertit les données d'entrée en une représentation différente, et le décodeur ajoutera la nouvelle fonction représentée arrière convertie à la forme originale. Nous attendons avec impatience lorsque les données d'entrée après le codeur et décodeur pour conserver un maximum d'informations, mais a exprimé l'espoir que la nouvelle variété de bonnes caractéristiques, ce qui est des objectifs d'auto-formation codeur. Afin d'obtenir des caractéristiques différentes, nous pouvons concevoir différentes formes de l'encodeur auto.

Lorsque les caractéristiques de conception de l'algorithme ou fonctionnalité conçue pour l'étude, notre objectif est généralement facteur de dégradation isolé peut expliquer les données observées (facteurs de variation). Dans ce contexte, l'impact des différentes sources se réfèrent uniquement à « facteur » est le mot, les facteurs multiplicatifs ne sont généralement pas combinés. Souvent, ces facteurs ne peuvent pas être observées directement la quantité. , Ils peuvent être observés à la place dans le réel des objets du monde ou de force inobservable, mais auront une incidence sur la quantité de observable. Afin de fournir une simplification utile des raisons d'interprétation des données observées ou présumées, ils peuvent aussi être présents dans la pensée humaine sous forme conceptuelle. Ils peuvent être considérés comme un concept abstrait ou données pour nous aider à comprendre la riche diversité de ces données. Lors de l'analyse de l'enregistrement de la voix, les facteurs de variation des haut-parleurs, y compris l'âge, le sexe, l'accent et leurs mots qu'ils disent. Lors de l'analyse de l'image d'une voiture, les facteurs de variation, y compris l'emplacement de la voiture, la couleur, la luminosité et l'angle du soleil.

Dans de nombreuses applications dans le monde réel de l'intelligence artificielle, le plus difficile surtout en raison des facteurs de détérioration affectent chacune des données que nous pouvons observer. Par exemple, dans une image contenant une voiture rouge, qui est un pixel dans la nuit peut être très proche du noir. La forme du contour de la voiture dépend de la perspective. La plupart des applications nous devons régler le facteur de dégradation et d'ignorer les facteurs que nous ne se soucient pas.

De toute évidence, un tel niveau élevé est extrait à partir des données brutes, fonction abstraite est très difficile. De nombreux facteurs tels que l'accent pauvres, que par complexe, proche du niveau de la compréhension humaine des données pour identifier. Ceci est presque aussi difficile que le problème d'origine est obtenue indique donc, à première vue, semblent indiquer l'apprentissage ne nous aide pas.

• étude approfondie

apprentissage en profondeur (apprentissage profond) pour exprimer complexe dit que pour résoudre la question fondamentale de la représentation apprentissage par l'autre représentation plus simple.

l'apprentissage de la profondeur à laisser l'ordinateur pour construire des concepts complexes par concept relativement simple. La figure 2 illustre la façon dont le système d'apprentissage de profondeur en combinant un concept relativement simple (par exemple, l'angle et des contours qui, à son tour, est défini par le bord) pour représenter le concept de l'image de l'homme. Des exemples typiques du modèle d'apprentissage profondeur réseau feedforward ou la profondeur ou MLP (perceptron multicouches, MLP). MLP est seulement une cartographie un ensemble de valeurs d'entrée à des valeurs de sortie de la fonction mathématique. Cette fonction est aggravée par un certain nombre de fonctions relativement simple. Nous pouvons considérer toutes les applications de fonctions mathématiques différentes fournit une nouvelle représentation pour l'entrée.

L'idée des données d'apprentissage est une représentation correcte de l'apprentissage en profondeur interprétatif. Une autre perspective est la profondeur du programme d'ordinateur provoque l'ordinateur pour en savoir plus d'une étape. Chaque couche peut être considérée comme représentant un état de mémoire de l'ordinateur après l'autre ensemble de l'exécution en parallèle d'instructions. Un réseau plus profond peut effectuer plus d'instructions de façon séquentielle. Séquence d'instructions pour fournir une grande capacité, à la suite peut se référer à l'instruction plus tôt après instruction. De ce point de vue, dans une fonction d'activation de la couche où pas toutes les informations implique des facteurs de détérioration expliquer entrée. Il représente également stocke les informations d'état pour aider à comprendre l'entrée du programme. Voici des informations d'état semblable au compteur de programme d'ordinateur classique ou pointeur. Cela n'a rien à voir avec une entrée spécifique, mais elle contribue à modéliser les processus d'organisation.

Figure 2

Il y a deux façons modèle de mesure de profondeur. Une façon est basée sur l'évaluation du nombre d'instructions séquentielles l'architecture exécutée nécessaire. modèle de nous supposons que pour une entrée donnée est représenté sous la forme d'un organigramme correspondant au calcul de sortie, ce qui peut être considéré comme le plus long chemin dans le modèle de la profondeur de organigramme. Comme l'utilisation de deux programmes équivalents rédigés dans des langues différentes ayant des longueurs différentes, la même fonction peut être tracée sous forme d'organigramme ayant des profondeurs différentes, en fonction de la profondeur que l'on peut utiliser en fonction d'une étape. La figure 3 illustre comment le choix de la langue dans la même mesure deux architectures différentes.

Figure 3

Une autre méthode est l'utilisation de modèles probabilistes dans la profondeur, il est pas considéré comme le modèle de calcul de la profondeur de la profondeur figure, mais sera décrit comment un autre modèle conceptuel connexe de profondeur figure considérée comme la profondeur. Dans ce cas, le calcul du calcul de la profondeur organigramme montrant chaque concept peut être plus profond que le concept même de la figure. En effet, le système plus simple compréhension du concept des informations données dans les concepts plus complexes peut être affiné. Par exemple, un système AI pour observer l'image du visage d'un il dans l'ombre, il peut d'abord voir que d'un il. Mais lors de la détection de la présence d'un visage, le système peut déduire un deuxième oeil peut également être présent. Dans ce cas, montrant le concept d'inclure seulement deux couches (couche sur l'oeil et une couche sur le visage), mais si nous affinons les estimations de chaque concept nécessitera n-ième calcul supplémentaire, le calcul comprenant 2n figure. couche.

Comme il est pas toujours clair, et la probabilité d'un diagramme de modèle de profondeur de calcul figure qui est le plus important, parce que différentes personnes et différents ensemble minimal sélectionné d'éléments correspondant à la figure construits de manière que la longueur d'un programme informatique n'existe pas comme une seule valeur correcte, la profondeur de l'architecture il n'y a pas de valeur correcte unique. De plus, il n'y avait pas de modèle de la façon dont le consensus profond afin d'être modifié pour « profonde ». Mais par rapport à l'apprentissage de la machine traditionnelle, les études de modèles d'apprentissage en profondeur impliquant une combinaison de caractéristiques pour en savoir plus ou apprendre les concepts, sans aucun doute.

En bref, le thème de ce livre -  l'apprentissage en profondeur est l'une des voies menant à l'intelligence artificielle . Plus précisément, il est un apprentissage de la machine, un système informatique capable d'une technologie améliorée et à partir de données empiriques. Nous croyons fermement que l'apprentissage de la machine peut construire des systèmes d'IA fonctionnant dans un environnement physique complexe, et est la seule approche pratique. l'apprentissage en profondeur est un type spécifique de l'apprentissage de la machine, avec une forte puissance et la flexibilité, il représentera le plus large système de conception hiérarchique imbriqué monde (concepts complexes définis par le contact entre le concept relativement simple, résumé général de l'abstrait au haut niveau d'abstraction représentation).

La figure 4 illustre la relation entre ces différentes disciplines de AI.

La figure 5 ci-dessous montre les principes de haut niveau de la façon dont chaque discipline fonctionne.

Figure 4: diagramme de Venn montre la profondeur de l'apprentissage est non seulement une représentation de l'apprentissage, mais aussi un apprentissage de la machine peut être utilisée dans de nombreux (mais pas toutes) méthodes AI. Chaque section comprend une instance d'un diagramme de Venn Technologie AI

Figure 5: représente un organigramme de la manière dont les différentes parties du système AI liés les uns aux autres dans différentes disciplines AI. Les cases ombragées représentent les composantes de l'apprentissage à partir des données

[Titane Auteur du média: Adapté de "l'apprentissage en profondeur" un livre, l'auteur Ian Goodfellow, Yoshua Bengio, Aaron Courville]

Plus de contenu passionnant, l'attention des médias titane signal de micro (ID: taimeiti), titane ou télécharger les médias App