Lei Feng réseau est Note: Cet article compilé par la technologie depuis Tupou « L'analyse d'imagerie médicale avec Deep Learning Part2 » Il est l ' « analyse d'images médicales (a) en apprentissage en profondeur » a récemment publié un article de suivi. Lei Feng réseau de débuts exclusifs.

« Étude approfondie Medical Image Analysis » dans le premier article de la série, nous présentons quelques-unes des bases de l'utilisation OpenCV et DICOM l'image pour le processus de traitement d'image. Dans cet article, nous sommes « les réseaux de neurones de convolution » apprendre dans la perspective des discussions approfondies. Dans la troisième partie de cette série, nous allons utiliser la base de données Kaggle du cancer du poumon, des informations clés et revisiter l'image du cancer du poumon DICOM contenu, le cancer du poumon et l'utilisation de Kera développer un modèle prédictif.

• "Réseau de neurones Convolution" (CNN)

il faut d'abord avant de comprendre « réseau de neurones convolution », savoir ce que « Convolution. »

Qu'est-ce que « convolution »?

Wikipedia définition de « convolution » est: une opération mathématique sur deux fonctions. Le calcul aura une troisième fonction autre que les deux fonctions d'origine qui est souvent considérée comme une version modifiée de l'un des deux fonctions d'origine, en fait, est le point de ces deux fonctions d'origine multiplié Riding les points. Nous ne pouvons tout simplement être comprise comme une troisième fonction « fonction de fenêtre coulissante sur une matrice. »

Source: deeplearning.stanford.edu/wiki/index.php/Feature_extraction_using_convolution

Comme on le voit ci-dessus, la fenêtre glissante est représentée dans la fenêtre vert, rouge coulissant est une matrice, le résultat est une matrice avec la convolution des caractéristiques de sortie. La figure sa sortie inférieure est la convolution de deux impulsions carrées.

Source: Wikipedia

Howard Jeremy dans ses cours de Mooc, l'utilisation d'une feuille de calcul Excel une bonne explication, « Convolution. » Deux matrices de sortie de convolution f et g est une première couche de la troisième matrice de convolution de ces deux matrices est résultats de multiplication de points. multiplication point de ces deux matrices est « matrice scalaire » ci-dessous, est une fonction mathématique de la source.

Point de multiplier deux matrices de résultats

Comme Jeremy, nous devons tirer parti de la feuille de calcul Excel. Nous concluons que la matrice est une fonction f, la fenêtre glissante est une fonction de la matrice g. Deux points en fonction du produit et le résultat est présenté ci-dessous dans le tableau de la figure deux matrices:

Circonvolution de deux matrices

Ensuite, nous avons mis cette loi a utilisé une lettre majuscule A dans l'image. Comme nous le savons tous, toutes les images sont composées de pixels. Nous avons donc f est la matrice d'entrée « A », la fonction de fenêtre coulissante selon une matrice arbitraire g. Ensuite, nous obtenons le point des deux fonctions se multiplient les résultats, comme indiqué ci-dessous:

Qu'est-ce que « réseau de neurones de convolution »?

Source: cs231n.github.io/convolutional-networks/

À mon avis, une convolution simple, réseau de neurones CNN est une séquence de toutes les couches. Chaque couche a une fonction spécifique. Chaque couche est une convolution en trois dimensions, nous avons donc utilisé comme une mesure de volume. En outre, chaque couche se convolutif réseau de neurones par une fonction dérivable pour activer une autre quantité de conversion, la fonction est appelée « active » ou « fonction de transformation. »

« Réseau neuronal convolutif » contient différentes entités sont les suivantes: la couche d'entrée, un filtre (ou noyau), la couche de convolution, la couche active, la couche d'accumulation, la couche de charge. Bien que la combinaison de l'agencement de ces couches varient, mais il y a des lois dans différentes permutations, nous fournit une architecture d'étude de profondeur différente. La couche d'entrée: En général, nous entrons dans « réseau de neurones convolutionnel » est typiquement une matrice de dimension n. S'il est une image, nous avons un canal de couleur d'entrée en trois dimensions - longueur, largeur et hauteur.

Source:

Filtre (ou noyau) : Comme indiqué ci-dessous, un filtre ou la totalité du noyau à la position de l'image de la diapositive, un nouveau pixel comme une somme pondérée de tous les pixels à calculer. Comme l'exemple ci-dessus feuille de calcul Excel, on passe à la matrice filtre g f à l'entrée.

Source: intellabs.github.io/RiverTrail/tutorial/

couche circonvolution : Multiplication de matrices d'entrée matricielle de nouveaux résultats et de travail ensemble pour créer un noyau est « matrice de convolution », également connu sous le nom « couche de convolution. »

Source: https://docs.gimp.org/en/plug-in-convmatrix.html

Voici un tableau de vision très claire peut vous aider à mieux comprendre le processus spécifique de remplissage convolution et convolution Transposée:

Source: https://github.com/vdumoulin/conv_arithmetic

couche active : « Fonction d'activation » peut être divisée en deux catégories - « fonction d'activation saturée » et « fonction d'activation non saturée. »

tanh est sigmoïde et « fonction d'activation saturé » et les variations de celle-ci et est RELU « fonction d'activation insaturé. » L'utilisation de « fonction d'activation non saturée » a l'avantage de deux choses:

1. Tout d'abord, le problème « fonction d'activation non saturé » pour résoudre le soi-disant « gradient disparaître ».

2. En second lieu, elle peut accélérer la convergence.

fonction sigmoïde nécessite une réelle valeur d'entrée comprimé à Gamme

(x) = 1 / (1 + exp (-x))

fonction tanh besoin de parler à une entrée à valeur réelle comprimé Gamme

tanh (x) = 2 (2x) - 1

Relu

RELU fonction représentée par les « moyens de correction linéaire », il est le plus grand avec une fonction de convolution de l'image d'entrée x (x, o). RELU fonction au sein de la matrice X sont toutes les valeurs négatives mis à zéro, les valeurs restant inchangés. calcul de la fonction RELU est effectuée après convolution, et donc il tanh fonction, comme la fonction sigmoïde, appartiennent à « fonction d'activation non linéaire. » Ce contenu a été proposé par le Geoff Hinton.

ULA

ULA est « éléments linéaires exponentielles », il tente d'activer une fonction de la moyenne proche de zéro, accélérant ainsi la vitesse d'apprentissage. Il est également livré par l'identité pour éviter les problèmes de gradient disparait. D'après certaines études, la précision de la classification ULA est plus élevé que les Relus. Ce qui suit est une description détaillée ELU détails sur:

Source:

Source: Wikipedia

Leaky Relus

RELU sont toutes les valeurs négatives sont mises à zéro, au contraire, Leaky RELU est donnée à une valeur non nulle pour toutes les pistes de négatif. fonction d'activation Leaky RELU est le modèle acoustique (2013) d'abord proposé. Mathématiquement, nous pouvons être exprimée comme suit:

Source: « Les réseaux de convolution évaluation empirique de la fonction d'activation de redressement »

La figure ci-dessus AI est un paramètre fixé dans l'intervalle (1, + ).

l'unité de correction linéaire paramétrique (Prelu)

Prelu peut être considérée comme une variante du Leaky Relu. Dans Prelu, la pente de la partie négative est réglée en fonction des données, plutôt que le pré-défini. Les auteurs disent que la classification IMAGEnet (2015, Russakovsky etc.), Prelu est la clé au-delà des niveaux de classification de l'homme.

l'unité de correction linéaire aléatoire (RReLU)

« Unité de correction aléatoire linéaire » RReLU est une variante de Leaky Relu. En RReLU, la pente est aléatoire négatif dans la formation, après le test se fixe en place. RReLU souligne que, lors de la session de formation, de la distribution AJI U (I, u) une valeur aléatoire uniformément. Formellement, nous obtenons les résultats suivants:

La figure inférieure relativement Relu, Leaky Relu, Prelu et RReLU de:

Source: https: //arxiv.org/pdf/1505.00853.pdf

Prelu dans les données ai est changé; Leaky Relu l'ai est fixe, RReLU dans un aji est dans une plage donnée de la valeur aléatoire, cette valeur sera fixée lors de la séance d'essai.

fonction d'activation du bruit

Ceux-ci comprennent la fonction d'activation est la figure de bruit gaussien ci-dessous peut vous aider à comprendre le « bruit » est de savoir comment la combinaison de la fonction d'activation:

Source: Wikipedia

couche d'accumulation

Objectif « couche d'accumulation » est à travers la matrice de l'espace conique, et de réduire le nombre de calculs des paramètres du réseau, alors la commande surajustement. « Couche d'accumulation » géré de manière indépendante dans l'entrée, et en utilisant une valeur maximale ou une valeur moyenne de l'opération pour régler la matrice d'entrée de l'espace. La forme la plus commune de la « couche d'accumulation » est avec le filtre 2x2 « de la couche d'accumulation » est appliqué à deux échantillons dans l'entrée. Sous cette forme, l'opération est une valeur maximale chaque fois que la quantité maximale est supérieure à quatre, la dimension de profondeur reste inchangée. Plus commune « couche d'accumulation » comme indiqué ci-dessous:

Source:

Source: https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/

Note: Ici, nous avons une fenêtre 2 x 2 déplacer deux cellules, puis prendre la valeur maximale de chaque région.

Lot couche normalisé

« Normaliser par lots » chaque couche de transition est la fonction d'activation, comprenant un procédé efficace de la normalisation. opérations « batch de normalisation » sont deux avantages principaux:

1. Ajouter « normes de traitement par lots » dans un modèle peut accélérer la vitesse de formation

2. Le fonctionnement normalisé réduit considérablement les contraintes affectant un petit nombre périphérique d'entrée à la formation, tout en réduisant l'apparition de surajustement.

réseau Jeremy classe ouverte il y a plus de détails sur la « normalisation des lots » de.

couche de connexion complète

« Couche de liaison complet » est un classique « multi-couche perceptron » qui utilise un perceptron « fonction d'activation maximale flexible » dans la couche de sortie. Comme son nom l'indique, « entièrement connecté » signifie que chaque couche de neurones sont connectées à chaque neurone dans la couche suivante. Une fonction logique de généralisation « maximale fonction flexible », la fonction sera un vecteur de K-dimensionnelle de valeur réelle arbitraire dans une plage de valeur réelle entre le vecteur K de dimension (0,1).

Source: Wikipedia

« Fonction d'activation maximale flexible » est généralement utilisé pour la couche finale est entièrement connecté, la probabilité d'obtenir des valeurs réelles comprises entre 0 et 1. Maintenant, nous avons différentes couches « convolution de réseau de neurones » savent déjà, avec cette connaissance, nous pouvons avoir un dépistage du cancer du poumon nécessaire étude approfondie de l'architecture. étude approfondie sur l'architecture de détection du cancer du poumon, nous discuterons dans le prochain article.