BP réseau de neurones au nom de ceux qui sont D.Rumelhart et J.McCelland, « rétropropagation (rétropropagation) » utilisation du mot est apparu en 1985, son usage très répandu en 1986 et livre D.Rumelhart J.McCelland En parallèle le traitement distribué après la publication du livre. BP réseau de neurones est un algorithme à plusieurs couches formée par une erreur de rétro-propagation réseau feed-forward, il est l'un des plus largement utilisés modèle de réseau neuronal. réseau BP peut apprendre et stocker de grandes quantités d'entrée - sortie relation de mappage de schéma, sans avant Révéler les équations mathématiques qui décrivent les relations de cartographie. Sa règle d'apprentissage en utilisant une méthode de descente de gradient est d'ajuster en permanence les poids du réseau et la valeur de seuil de propagation inverse, la somme minimum de l'erreur quadratique et le réseau. BP topologie de réseau neuronal comprend une couche d'entrée (entrée), la couche cachée (couche cachée), et une couche de sortie (couche de sortie).
A, BP modèle de réseau neuronal
BP processus de réseau neuronal est divisé en deux phases, le premier signal de passer avant la diffusion d'informations à la deuxième étape est l'erreur propagation arrière couche intermédiaire pour ajuster les poids et les biais.
Deux, BP processus de réseau de neurones
BP processus de réseau de neurones:
1, la transmission vers l'avant;
2, l'erreur de rétro-propagation;
3, l'itération des critères.
Avec trois réseaux de neurones BP comme exemple:
(1) la propagation vers l'avant
Supposons que le nombre de noeuds dans la couche d'entrée est n, le nombre de noeuds dans la couche cachée est une l, le nombre de noeuds de la couche de sortie est m. couche d'entrée à la w_ij poids de la couche cachée de poids, la couche cachée à la masse couche de sortie w_jk, la couche d'entrée de polarisation à la couche cachée est a_j, la couche cachée à la couche de sortie est sollicité b_k, le taux d'apprentissage , fonction d'excitation g (x), une fonction sigmoïde est généralement choisi. Sous forme de:
Sortie de la couche cachée est:
couche de sortie:
(2) Retour propagation
L'objet de la rétro-propagation d'erreur est mis à jour des poids afin de minimiser la fonction d'erreur est une sortie cible finale et une sortie désirée. Yk sortie souhaitée, la fonction d'erreur est la suivante:
min (E) est un processus d'optimisation, on connaît la direction de pente maximale, à savoir la valeur de fonction diminue direction la plus rapide, la méthode de descente de gradient.
Droite couche cachée à la valeur de la couche de sortie mise à jour:
couche d'entrée droit à la valeur de la couche cachée mise à jour:
et
ensuite
De même, la version actualisée de décalage peut être obtenu
(3) critères itératives
L'analyse des critères communs sont itérées sur et entre deux adjacentes nombre maximum d'erreurs est inférieure à la valeur de sortie de l'itération spécifiée.
