[New Ji-won EXAMEN Ces dernières années, le développement rapide du nerf de traduction automatique pour faire de plus en plus sentir de traduction humaine pression Alexander, grelottant, donc un puissant mécanisme de fonctionnement à l'intérieur de l'architecture de traduction automatique ce qui est? Cet article vous prend une série de look action figure dans cette.
Au cours des dernières décennies, le modèle de traduction automatique de traduction automatique statistique a été la dominante jusqu'à ce que les nerfs dans la traduction automatique (NMT) est né. Traduction automatique nerveuse (NMT) est en train d'émerger au cours des dernières années, le mode de traduction automatique, qui tente de construire et former la capacité de lire la saisie de texte et de sortie d'un seul résultat de traduction réseau de neurones à grande échelle.
A l'origine proposé de Kalchbrenner et Blunsom (2013) et d'autres de NMT. Mieux connu cadre proposé aujourd'hui est un seq2seq-cadre de Sutskever et al. Cet article se concentrera sur la façon de construire un cadre et un mécanisme d'attention seq2seq basé sur le cadre de seq2seq.
Dans l'ensemble, le déploiement de la couche d'attention peut être divisée en quatre étapes (en fait 5 étapes)
Étape 0: Préparer caché.
Tout d'abord préparer le premier décodeur caché (rouge) et tous les codeurs disponibles cachés (vert). Il y a quatre codeurs et décodeurs un état caché courant cachés dans notre exemple.
Étape 1: Obtenir chaque encodeur fraction cachée
En fonction de score (également appelée alignement ou d'un modèle de fonction de score d'alignement) scores obtenus (scalaires). Dans cet exemple, la fonction de score est le produit de points entre le décodeur et encodeur caché.
Deuxième étape: Courir à travers les couches de tous les points.
Nous avons mis la couche de fonction d'un score, alors que le score somme softmax de traitement (scalaire) à 1. Le score représente la distribution de l'attention.
Étape 3: Chaque encodeur cachés fois son score Softmax.
(Scalaires) en multipliant chacun des codeurs cachés partition softmax correspondant à celui-ci, pour obtenir un alignement vecteur ou un vecteur d'annotation. Ceci est le mécanisme d'alignement.
Étape 4: Résumé vecteur d'alignement.
Résumé vecteur d'alignement peut générer un vecteur de contexte. Il reflète le contexte des informations de vecteur du vecteur d'alignement précédente étape de polymérisation.
Étape 5: Le contexte du vecteur au décodeur.
Transfert dépend du système de traduction d'architecture spécifique. Nous verrons dans l'exemple suivant de la façon dont les différentes architectures en utilisant un décodeur de vecteur de contexte.
Le regard de déposons sur le mécanisme de fonctionnement de plusieurs modèles de seq2seq, pour faciliter la compréhension, nous utilisons une description plus intuitive (pour chaque modèle, sont allemand - traduction anglaise, par exemple).
seq2seq
Traduction du texte allemand sera lu du début à la fin de nouveau, a commencé à lire mot par mot traduction en anglais, ce qui ont lu si la peine est trop long, il pourrait oublier le début de l'article.
Seq2seq un modèle simple est tel, comme à face dans une couche d'attention par étapes est inférieure à parler seq2seq + modèle d'attention, ce qui suit est une représentation visuelle du modèle.
seq2seq + Attention
traduction allemande relut le texte, tout en commençant à mettre fin à mot-clé enregistrement, puis a commencé à traduire en anglais. Chaque traduction d'un mot allemand, à utiliser pour un des mots clés de bas.
Affecte un score à chaque mot sous le mécanisme, mettre un accent différent selon les scores. La fonction est ensuite traité fraction Softmax à l'aide du codeur et pour masquer le codeur pondération de polymérisation état caché, obtenir un vecteur de contexte. couche d'attention peut atteindre quatre étapes.
Exécutez l'attention de ce qui est le mécanisme?
La réponse est: rétropropagation, Je ne m'y attendais pas. Rétropropagation fera tout son possible pour assurer la réalisation de la production proche de la situation réelle. Pour réaliser cet objectif en changeant le poids et la fonction de score RNN (le cas échéant). Ces poids affectent le codeur et décodeur caché caché, ce qui affecte les scores d'attention.
seq2seq avec codeur à deux voies + attention
Ce mécanisme a l'équivalent de deux traducteurs. Une traduction en lisant le texte lors de l'enregistrement des mots clés. Traduction B (supérieure à la traduction de A, peut être lu à l'arrière vers l'avant puis en arrière traduction) sont lus mot pour mot le même texte allemand, et écrire des mots clés.
sont régulièrement discutées les deux traductions afin de lire bien chaque mot. Une fois la lecture terminée, la traduction B sera responsable des résultats de la discussion et une sélection complète de mots-clés, la phrase allemande traduit littéralement en anglais.
Une traduction est en avant RNN, la traduction B est RNN vers l'arrière.
En utilisant une attention à double encodeur de pile seq2seq +
Une traduction en lisant le texte lors de l'enregistrement des mots clés. Traduction B (plus élevé que traduit A, peut être lu en arrière à partir de là translation vers l'avant) mot aussi lu pour mot le même texte allemand, et écrire des mots clés. Notez que la traduction primaire A lire chaque mot rapport au B. Traduction Après la lecture terminée, les deux traductions sont basées sur un mot-clé complet de leur choix, une phrase traduit littéralement en anglais.
Google Traduction automatique neurale: seq2seq (+ + restant connexion bidirectionnelle) + empilée avec attention huit encodeurs
Traduction équivalente A, B, ... H pour un total de 8 traduction, de bas en haut dans une rangée. Chaque traduction allemande sont en train de lire le même texte. Lire chaque mot, la traduction et la traduction A part B sera trouvée traduite B pour trouver le contenu pour améliorer et partager avec traduction C, et ainsi répéter le processus jusqu'à ce que le H. traduction En outre, lors de la lecture du texte allemand, H traduction sera des mots-clés connexes basés sur la connaissance et de l'information à leurs dossiers et reçus.
Après chaque traduction sont commande de lecture de la traduction texte anglais A commencé à traduire le premier mot. Tout d'abord, la traduction d'un essayant de se rappeler, et il partage sa réponse avec le traducteur de B, traducteur B répond et de les partager avec une meilleure C traducteur, et donc le processus est répété jusqu'à ce que le H. traduction Ensuite, écrire la première traduction de traduction H fonction de mots clés enregistrés. Répétez ce processus jusqu'à ce que la traduction est terminée.
