Il a été une mise à jour de longue date, et avoir pris le temps de partager quelques-uns d'un accent sur le champ de vision par ordinateur à tout le monde, qui est « l'apprentissage en profondeur », puis à parler en détail la profondeur de l'apprentissage (pourquoi ??? caractérisé par l'apprentissage en profondeur), puis il a dit que la profondeur de construction du réseau, et que nos propres mains de bricolage leur propre réseau, commencez maintenant ...... ing

introduction

En parlant d'un « apprentissage en profondeur », vous vous demandez pourquoi il va construire un réseau complexe, d'apprendre les fonctionnalités plus avancées de celui-ci? En fait, très simple, parce que la tendance est à la direction générale du cerveau de classe, la classe ouvrière du cerveau a été la préoccupation de nombreux chercheurs.

la technologie informatique du cerveau sont en fait deux niveaux: le premier niveau « va cadre Neumann », appartenant principalement à la catégorie des grands réseaux de neurones de artificiel, le deuxième niveau est le « algorithmes informatiques basés sur neuroscience », en essayant d'aller au-delà du réseau de neurones artificiels cadre et de se débarrasser du modèle de calcul du poids, la simulation haute fidélité du cerveau biologique. Ainsi, l'Union européenne ont commencé à étudier conjointement le cerveau humain, ont mis en place a appelé les Etats-Unis « Human Brain Project », a commencé à se concentrer sur le cerveau de la classe. Brain-calculé pour cette direction est prometteuse.

catégorie 1

Il y a le plan « Human Brain Project » et les États-Unis « Brains » de l'UE, bien que la voie technologique différente, mais ils commencent à partir des données expérimentales et des connaissances au niveau micro du cerveau biologique, en intégrant progressivement jusqu'à trouver les niveaux méso et macro la relation entre le nombre de droit, et, finalement, d'établir un modèle théorique de l'ensemble du cerveau. Des fonctionnalités telles méthodes est la « bottom-up », une connaissance expérimentale à grande échelle de la masse microscopique des données et fragmenté « projet de puzzle. » Tout d'abord, le développement d'outils technologiques très sophistiqués, afin d'obtenir une mesure globale et enregistrer la structure microscopique et la fonction du cerveau, puis l'ensemble du cerveau pour établir micro-base de données, sur cette base, et a progressivement évolué vers un modèle de calcul à grande échelle du cerveau, et en essayant de forme interprétation de toute la théorie du mécanisme de l'activité cérébrale, des lésions du cerveau et l'intelligence du cerveau, et enfin former une technologie informatique comme un cerveau plus mature et le cerveau comme l'intelligence artificielle. Cette étude fait partie d'une longue période de grands projets scientifiques ou grandes, ont besoin de mobiliser beaucoup de ressources humaines et financières.

catégorie 2

Caractéristiques de la méthode est « top-down ». La recherche se concentrera directement sur la construction d'une théorie du cerveau « bien », puis exporter le modèle des neurones et des groupes de modèle de réseau de neurones vers le bas, l'adéquation entre le modèle et le test après le test et la connaissance du nerf microscopique et les données. La clé de cette recherche est de savoir comment trouver la théorie du bon point de départ, cette étape n'est pas un simple problème de modélisation, ni la théorie générale des problèmes de discipline, puis intégré à la confluence du processus théorique, mais un certain nombre de sujets importants appartenant à un grand processus de cristallisation périodique scientifique. Cette étude fait partie du cycle long et une petite science « métaphysique ». À l'heure actuelle, l'utilisation de la catégorie 2 méthode Numenta principalement les États-Unis et structure du cerveau profond de la Chine et opérationnel nerf laboratoire informatique (structure profonde Neural Computing & MindComputer Lab, Mindputer Lab), deux techniciens de laboratoire, bien que des chemins différents, mais l'approche globale cérébral angle de départ sont établis cadre théorique, puis progressivement amincissement vers le bas théorie, le modèle de calcul méso et micro dérivé, puis après l'essai avec les données expérimentales et les connaissances micro-niveau de la section de cohérence.

Avantages et inconvénients

Deux types de méthodes de recherche ont des avantages et des inconvénients, comme la première méthode est comme l'escalade des falaises près en mètres jusqu'à chaque étape est très longue et pleine de l'inconnu. Parce que, à partir de la masse de données pour tenter de microgérer le casse-tête de l'ensemble du réseau du cerveau, est un grand événement aléatoire, même supercalculateurs utiles ou d'autres techniques microscopiques avancées, la période du plan de 10 ans deux projets du cerveau en Europe et en Amérique est loin pas assez. La deuxième méthode est plus comme parachute d'air de classe, difficultés dans le parachute, parachutes à long bien, le point d'atterrissage vers le bas est plus petit que le temps et la complexité du multi-escalade. Histoire de la science a prouvé qu'une bonne théorie est une expédition scientifique considérablement réduit le risque de couteaux tranchants au hasard.

Je l'ai dit un peu biaisé, et aujourd'hui nous disons surtout pour l'apprentissage en profondeur ces choses!

Pourquoi l'apprentissage en profondeur?

Tout d'abord un exemple simple:

Ce sont les caractéristiques visuelles sous-jacentes, indiquant que les caractéristiques de bas niveau ne peut apprendre quelques fonctionnalités de base telles que la texture, mais si elle atteint la perception visuelle du cerveau humain, il est nécessaire d'apprendre les fonctionnalités plus avancées de la sémantique de haut niveau. Donnant ainsi naissance à des réseaux plus profonds et plus complexes, on peut comprendre que l'exploitation minière caractéristiques sémantiques de niveau supérieur pour exprimer la cible. Comme suit:

Quelle est la profondeur de l'apprentissage?

En général, il y aura: 1) un modèle de combinaison; 2) fin d'apprentissage (End-to-End).

apprentissage

De l'------------------------ spécifique >  abstrait

1) modèle combiné

Comme l'organigramme ci-dessus, qui montre la combinaison de modèles d'apprentissage.

2) de bout en bout

Les deux liens sont pré-poussés contenu, processus d'apprentissage de bout en réseau pleinement démontré ci-dessous.

Etude approfondie des cas spécifiques --- rétropropagation

Les réseaux de neurones Introduction - en utilisant le mode d'apprentissage de l'algorithme de rétropropagation

Se référant à côté du « crédit slide Marc'aurelio Ranzato, CVPR '14 tutoriel »

Le lien suivant détaille également l'évolution et l'amélioration de CNN:

« Depuis les temps anciens, » la profondeur de la transformation du réseau

cadre

Le développement rapide de l'apprentissage en profondeur, avec un grand nombre de différents cadres est également apparu.

Torch7

• Université de New York

• cadre de calcul scientifique dans Lua

• soutenu par Facebook

Théano / Pylearn2

• U. Montréal

• cadre de calcul scientifique en Python

• calcul symbolique et la différenciation automatique

Cuda-Convnet2

• Alex Krizhevsky

• Très rapide sur l'état de l'art GPU avec parallélisme multi-GPU

• C ++ / bibliothèque CUDA

TF (Je suis très au courant, pas décrit en détail)

Et ainsi de suite.

Parce que maintenant j'utilise le portail Caffe Donc, aujourd'hui, cette section-cadre élaborée.

La raison (référence):

• Expression: + modèles d'optimisation sont des schémas, pas de code de texte en clair.

• Vitesse: pour les modèles état de l'art et des données massives.

• Modularité: étendre aux nouvelles tâches et paramètres.

• Ouverture: le code commun et des modèles de référence pour la reproductibilité.

• Communauté: discussion commune et le développement par le biais de licences BSD-2.

• Pure architecture C ++ / CUDA pour l'apprentissage en profondeur

• ligne de commande, Python, interfaces MATLAB®

• Rapide, le code bien testé

• Outils, modèles de référence, des démonstrations et des recettes

• commutateur continu entre le CPU et le GPU

Réseau (Net)

Un réseau est constitué d'un ensemble de différents couche La connexion se fait:

nom: « net factice »

couches {name: "data" ...}

couches {name: "conv" ...}

couches {name: "pool" ...}

... plusieurs couches ...

couches {name: "perte" ...}

Lenet:

Layer (Layer)

nom: "CONV1"

Type: CONVOLUTION

en bas: « données »

top: "CONV1"

convolution_param {

num_output: 20

kernel_size: 5

foulée: 1

weight_filler {

tapez: "xavier"

}

}

Protobuf

Réseau (Net) et la couche (couche) est par Protobuf Défini.

goutte

Caffe la source --- Blob utilisation de base

Résolution: Un réseau de formation

train_net: "lenet_train.prototxt"

base_lr: 0,01

dynamique: 0,9

weight_decay: 0,0005

max_iter: 10000

snapshot_prefix: "lenet_snapshot"

Si vous avez besoin de formation GPU:

Train de Caffe -solver lenet_solver.prototxt -gpu 0

Enfin, donner quelques exemples d'amis populaires, les intéressés peuvent vous aller bricolage.

Détection cible

R-CNN: Régions avec convolutifs Neural Networks

Plein scripts R-CNN disponibles à https://github.com/rbgirshick/rcnn

reconnaissance de style visuel

Karayev et al. Reconnaissant Style d'image. BMVC14. Exemple peaufinage Caffe.

Démo en ligne à

reconnaissance de scène

réglage fin (réglage fin)

Entrée: les fichiers sources différentes;

Dernière couche: différents classificateurs.

Comment devenir un succès « Alchimiste » techniques de formation --dl

Aujourd'hui, dans l'espoir d'amener un ami avait besoin d'aide, je vous remercie!

Lei Note du réseau Feng: Cet article auteur original Edison_G, cet article a d'abord paru dans son numéro public micro-canal équipe Computer Vision (ID: ComputerVisionGzq). équipe Computer Vision a été fondée en 2017, principalement par des étudiants diplômés de l'Université de l'équipe, a été une plus grande attention et le soutien de la plate-forme dans le domaine de l'apprentissage de la machine et l'apprentissage en profondeur, principalement dans la détection des visages et la reconnaissance, la recherche de détection multi-cibles direction. action quotidienne résultats récents à travers la plate-forme de vision par ordinateur, l'analyse de modèle maintenant populaire, des algorithmes et des idées.