Ji-won nouvelle compilation

Rétro-propagation algorithme (BP) est considéré comme étant « en fait » (de facto) la méthode utilisée pour former la profondeur de réseau de neurones. Il utilise le poids de la transposition droite feedforward, d'une manière précise l'erreur dans la couche de sortie vers la couche cachée rétropropagation. Cependant, on a estimé que biologiquement déraisonnable, parce que dans un système nerveux biologique, avec un signal précis de poids dans l'erreur de propagation arrière droit est considéré comme impossible. Dans cette étude, basée sur les neurosciences et la littérature BP et méthodes asymétriques similaires, les chercheurs proposent un paradigme de structures nerveuses à une biologie raisonnable. Plus précisément, les chercheurs ont proposé deux anciens poids trainable anticipatifs et de rétroaction bidirectionnelle algorithme d'apprentissage. poids feedforward pour relayer cible d'activation de l'entrée à la sortie. Pondération signal de rétroaction d'erreur se passer de la couche cachée à la couche de sortie. Contrairement à d'autres méthodes similaires BP et asymétriques, le cadre des poids de rétroaction est également très volatile, et sont formés pour approcher activition avant. Les résultats préliminaires montrent que le modèle est supérieur à d'autres recherches similaires présentées BP et méthode asymétrique sur MNIST et 10-ensembles ICRA de données.

REVUE DE Documents

algorithme de propagation arrière (BP) est le mode inverse différentiation automatique et la liaison de la méthode de la plus grande pente, il est considéré comme un procédé de formation d'une profondeur de réseau neuronal (le DNN) a. Il couche de manière précise par la couche arrière erreur de propagation de la couche de sortie vers la couche d'entrée. Cependant, il a estimé, en biologie, symétrie précise se rapporte au cerveau apprentissage du canal inverse est impossible.

Dans les premiers stades de l'apprentissage en profondeur, d'abord à l'aide de la machine Boltzmann préformation sans supervision, puis utilisez le BP réglage fin ne comporte pas de poids symétrique, et sont basés sur les mécanismes biologiques. Récemment, des études sur des alternatives viables et pratiques à BP sur le développement de la biologie de plus en plus.

D'autre part, en raison de la classe de littérature en neurosciences, potentialisation à long terme (LTP) est considéré comme une étape importante dans la mémoire humaine et l'apprentissage. Comme présenté dans la LTP, les liens étroits entre les neurones de neurones commence l'étape de conditionnement, dans lequel un neurone récepteur se déplace plus d'ions sur la membrane de leurs dendrites. Le résultat est que plus d'ions sont piégés, amplifiant ainsi les impulsions électriques.

LTP basé sur le principe des poids variables et des commentaires de cette hypothèse, nous proposons une perception de deux voies paradigmes et modèles d'apprentissage plus rationnelle dans le niveau de la biologie. Dans ces modèles d'apprentissage dans les deux sens, les poids feedforward réglage de phase vers l'avant, les coefficients de pondération de rétroaction sont l'apprentissage à l'étape. Notre modèle proposé élimine le poids de rétroaction doivent être des hypothèses aléatoires et fixes. poids de rétroaction sont formés pour Activate avant d'aborder la période de formation. les ensembles de données de référence expérimentaux montrent que notre modèle est préférable d'utiliser un poids de transmission de rétroaction fixe FA (modèle rétroaction en alignement) et DFA (modèle direct rétroaction en alignement) du signal d'erreur. Nous fournissons également des informations sur la raison pour laquelle la transmission du signal d'erreur en utilisant des poids lourds analyse préliminaire de la réutilisation adaptative des poids fixes supérieurs. À notre connaissance, c'est le spectacle que le canal de rétroaction adaptative asymétrique plus efficace que DNN aléatoire et canal de retour fixe est la première étude à essayer.

Figure 1: Modèle BP (Back-propagation), FA (rétroaction en alignement) et DFA (direct-alignement rétroaction). Les flèches noires représentent le chemin est activé avant. Les trajets de propagation flèche rouge indique une erreur (gradient).

Bien que des poids aléatoires et modifier fixe DFA et FA biologiquement plus raisonnable que le cerveau BP, la rétroaction droite est également variable en poids. Des études antérieures ont montré que la FA avant d'utiliser des poids lourds de apprendront à rétroaction imitate poids aléatoires

Le pseudo-inverse. Par conséquent, nous voulons essayer de droite et avant pour éviter de devenir des matrices aléatoires trop similaires.

DNN nous avons considéré ici deux couches cachées. couche avant droite est reliée à la i-ième poids de la couche cachée (polarise d'absorption), les poids aléatoires sont fixés matrice de poids avec des dimensions appropriées.

Traditionnelle avec BP, FA et DFA DNN est unidirectionnel, ce qui signifie qu'ils sont en train d'apprendre la façon d'entrer dépeint comme sortie cible. Sur la base de cette littérature en neurosciences à l'étude, nous vous proposons une connaissance biologique raisonnable modèle d'ordinateur, puis mis en avant un rapport de rétroaction dans les deux sens de (alignement de rétroaction bidirectionnelle, BFA) et dans les deux sens rapport de rétroaction directe de (de feedbackalignment bidirectionnelle directe, BDFA ) modèle, ont été utilisés pour deux vers l'avant et le procédé de formation de poids peut être neurones connectés.

La plausibilité biologique du modèle informatique cognitive

algorithme de descente de gradient formé avec les besoins du modèle informatique cognitive classique à base sur des données exactes en arrière-propagation du signal d'erreur anticipatrice poids synaptique neuronale, qui est considéré comme impossible dans la biologie du système nerveux. D'autre part, est considéré comme potentialisation (LTP) à long terme comme un élément essentiel dans la biologie de la mémoire et l'apprentissage des sciences cognitives.

• potentialisation à long terme

Sont reliés par un synapses des neurones biologiques, y compris les axones et les dendrites, axones lequel des signaux d'émission, les prochaines dendrites des neurones reçoit un signal émis par les axones. Cependant, les axones et les dendrites sont séparés de la fente synaptique, une impulsion électrique est transmise à travers l'axone libérer des ions dans la fente synaptique, des récepteurs sur la membrane plasmatique ont été capturés dendrites. Structure telle que représentée ci-dessous:

Figure 2: Architecture connexions neuronales entre les axones et les dendrites

Lorsque les signaux nerveux de l'élément de transmission nerveuse synaptique des neurones, les neurones libèrent plus de récepteurs sur les DC pour capturer plus d'ions. Ce processus réduit l'agrégation ionique entre la fente synaptique et

Vous pouvez libérer plus d'ions. De cette façon, puisque le processus LTP, des liens plus forts entre les neurones et a été construit. LTP ajustera la connexion entre les neurones, jouent un rôle important dans la formation des souvenirs et de l'apprentissage.

• La plausibilité biologique du modèle informatique cognitive

Le premier ajustement de dépassement étape entre les neurones et sont ajustés sur la perception que le nombre de dendrites, qui est une information importante pour nous d'observer le processus de LTP. Sur la base de ce principe, nous proposons un modèle informatique cognitive biologiquement plus raisonnable.

modèle de composant BioPP sont les suivantes:

signal

l'architecture BioPP a deux ensembles de signaux: signaux - anticipatrice une propagation de signal positif dans le réseau pour faire face à des tâches de raisonnement, de mauvais signaux - les signaux se propagent vers l'arrière, pour ajuster les poids synaptiques

Poids

modèle de calcul de poids représente le cognitif déterminé à partir du signal d'entrée ou le nombre de neurones adjacents capturés. Il convient de noter que le nombre de signal d'erreur de modèle informatique cognitive est également utilisé par sa propre décision. signal d'entrée BioPP fonction de l'erreur ajustera leur propre poids, alors un signal d'erreur est ensuite envoyé à d'autres neurones.

activation et l'écart

L'activation et l'écart-définition standard et il n'y a pas de différence de formation DNN BP des définitions pertinentes de l'utilisation.

l'architecture BioPP représenté sur la figure 3, où les cercles sont des neurones vert courbe avant représentant bleu représente la synapse, les synapses de courbes rouges. Les carrés bleus et rouges sont carrés en avant-synaptique et post-synaptique pour Perceptron. Il est à noter que, selon la définition BioPP, le poids est réglé par le perceptron.

Figure 3: Architecture des connexions neuronales entre les deux BioPP

BioPP a trois limites:

Lorsque les coefficients de pondération d'entrée, le signal d'erreur ne peut être calculé, étant donné que le potentiel des axones des signaux nerveux transmis unidirectionnellement;

Basé sur un des signaux d'erreur internes et externes, ce qui peut apprendre les poids des neurones au niveau local;

Tous les poids devraient avoir le droit d'entrer dans la capacité d'adaptation.

FA et DFA soulevé le modèle neuronal et BioPP (dont certains sont fixés des poids) de principe pas entièrement coïncider. Laissez-nous droit de retour aux principes BioPP, optimisation FA et la lourde DFA, et tester le modèle dans l'ensemble de données de référence.

Deux voies de formation BioPP réseau

DFA et FA sont utilisés pour transmettre un poids aléatoires fixe le signal d'erreur, afin de former le réseau de neurones. En BioPP, nous pouvons faire le poids comme un poids d'entrée généraux comme adaptatif.

Figure 4: retour d'alignement bidirectionnel (BFA). Avant la flèche noire représente le chemin d'accès activate. Les trajets de propagation flèche rouge indique une erreur (gradient).

processus global de BFA illustré à la figure 4. idée principale BFA est que, lorsqu'un ensemble d'apprentissage de poids, la couche de transfert d'une couche de focalisation signal d'erreur par l'autre jeu de poids dans le réseau. BFA répond aux principes et les limites de BioPP. BFA et la différence entre l'écart de cible (TP) est, caractéristique d'entrée BFA apprentissage, et un signal d'erreur propagées couche par couche. Les couches du TP est encore l'une des entrées d'auto-apprentissage codé avant réseau (Autoencoder).

Figure 5: alignement bidirectionnel rétroaction directe (BDFA). Avant la flèche noire représente le chemin d'accès activate. Les trajets de propagation flèche rouge indique une erreur (gradient).

BDFA flux global représenté sur la Fig. modèle BDFA idée générale est que chaque perte de couche cachée calculée séparément, et mettre à jour les coefficients de pondération de rétroaction correspondant reliant la couche cachée et la couche de matrice d'entrée de poids.

Ensuite, les chercheurs ont analysé pourquoi et modèle de formation adaptative de poids de rétroaction utilisé dans lourds dans les deux sens sur l'ensemble que les poids fixes effectuent une meilleure rétroaction, et des poids de rétroaction prouvé que si vous pouvez apprendre à mieux décrire les entrées et leurs caractéristiques de sortie, la formation la performance globale sera améliorée. Après cela, l'un des chercheurs sur les ensembles de données de référence, dans les conditions fixées par les différentes hyper-paramètres, la performance BFA et BDFA dépasse la FA et DFA.

A la fin de l'étude, les chercheurs ont noté que l'étude est la première étude en fonction de leur connaissance de la tentative de démontrer dans DNN, le canal de rétroaction adaptative asymétrique pour être plus efficace que le canal fixe aléatoire. Bien qu'il soit difficile de savoir si le cerveau la mise en uvre de cette forme particulière de rétroaction adaptative, la recherche est encore à mieux comprendre la façon dont les supports du cerveau d'apprentissage à partir du signal d'erreur dans cette direction a franchi une étape importante.

Lien original: https: //arxiv.org/abs/1702.07097

Le recrutement de nouveaux Zhi Yuan

Position: écrivain

Salaire: 25 - 36 Wanyuan (Bonus Salaire +)

Lieu: Beijing - Haidian District

Département: Département Editorial

Relevant: éditeur

Nombre de Subordonné: 4 personnes

Âge: 25 ans à 35 ans

Sexe: Ouvert

Expérience professionnelle: 3 ans

Langue: Anglais Niveau 6 et plus

Education: Diplôme de maîtrise et au-dessus

Description du poste:

l'intelligence artificielle et l'amour de l'industrie des médias, ainsi que des ressources dans le domaine de la riche AI;

Affaires, la technologie et écrivain médiatique depuis plus de 3 ans d'expérience dans l'original, capable de planifier et d'exécuter les thèmes de la série;

comprendre TMT profondeur du champ, pour un aperçu unique des tendances de l'industrie, d'excellentes capacités de l'exploitation minière et de tri des données;

Anglais lecture, l'écriture, de bonnes compétences en communication et interviews des clients;

forte résilience et la force d'auto-entraîné, capable de s'adapter aux entreprises de démarrage rapide.