AIS (ACL, IJCAI, SIGIR) 2018

Session 5: Apprentissage et applications

1 Shenda Université Zhong de la science et de la technologie de la Chine

Une approche conjointe d'apprentissage à l'évaluation de l'entrevue d'emploi intelligente

Regardez d'abord notre motivation, le recrutement dans les entrevues comme une partie importante. Il a reçu de plus en plus d'attention. Cependant, le processus d'entrevue traditionnelle, il y a quelques inconvénients inévitables. Par exemple, interview la décision de l'enquêteur dépend principalement de jugement personnel, sera inévitablement l'intervieweur préférences personnelles, l'expérience et le talent d'influence, une certaine quantité de biais, en particulier pour certains des premiers praticiens, l'intervieweur n'a pas d'expérience. Pour certains intervieweur chevronné, leur expérience ne peut guère être héritée interviewer primaire d'apprendre. D'autre part, bien que maintenant certaines entreprises ont accumulé de grandes quantités d'entretien d'embauche de données, mais l'entretien renforcer l'effet du point de vue des travaux d'exploration de données est très faible. En particulier, d'explorer l'expérience d'un excellent enquêteur.

À cette fin, nous visons de ce travail est d'étudier dans une interview enregistrée par un grand nombre d'excellents intervieweur de participer à l'entrevue pour explorer la relation inhérente entre plusieurs types de texte. Ils sont « description de poste, CV et entretien entre avis » excellent enquêteur pour trouver le principal objectif de l'entrevue, pour aider davantage l'entrevue et ainsi de suite. la subjectivité d'amélioration, unilatéralité d'une questions d'entrevue traditionnelles.

Mais dans le processus, nous avons trouvé un certain nombre de phénomènes ou de recrutement défis que nous avons besoin d'un traitement spécial. Tout d'abord, l'intervieweur souvent basé sur le curriculum vitae du candidat à concevoir l'entrevue, ce qui conduit souvent à l'existence d'une forte corrélation entre les commentaires de curriculum vitae et l'entrevue. En second lieu, entre les curriculum vitae et les descriptions d'emploi ont aussi une forte corrélation, mais la différence est que la description générale de l'emploi est relativement simple, et de reprendre plus précis et beaucoup d'expériences différentes de la même personne peut demander un emploi, de sorte que, diversité de reprendre la description de l'emploi pour être petite. Enfin, nous avons également noté avec une grande distinction entre la technologie de classe et interview interview complète, biaisée en faveur d'une mission technique, mettant l'accent sur l'étude des sciences humaines. Nous devons être traités différemment.

Afin de résoudre trois défis ci-dessus. Nous avons présenté notre modèle modèle d'apprentissage mixte Interview d'évaluation (JLMIA). Notre modèle est basé sur le modèle de thème de LDA pour développer la promotion. Le droit est le montre la figure de probabilité correspondante, nous croyons que l'entrevue est un mélange de toutes sortes de textes de plusieurs thèmes, et de l'image pour le moment la corrélation entre l'évaluation et le curriculum vitae, il a partagé le thème entre nous deux la distribution thetaA venir, supposons aussi que la description du poste de distribution de sujet thetaA thetaJ généré pour caractériser la relation entre le CV et l'emploi, afin de caractériser les différents deversity entre les descriptions d'emploi et les curriculum vitae, nous supposons que trois types de documents sujets respectifs sont différents. Ensuite, afin de faire la distinction entre la technologie et l'entrevue complète, nous utilisons un ensemble différent de sujets pour des interviews de différents types de textes. Enfin, afin de résoudre notre modèle, nous avons conçu l'algorithme EM. Si vous êtes intéressé plus en détail le modèle pour nous, vous pouvez lire notre article.

Ensuite, nous avons conçu deux entrevue d'application auxiliaire, on est des gens après correspondance, étant donné une paire de descriptions d'emploi et curriculum vitae, nous voulons mesurer le degré de correspondance entre les deux. Tout d'abord, il est possible de déduire que deux modèle du texte relatif à chacun de la distribution, caractérisé par un vecteur respectif, de sorte que l'on peut utiliser différentes méthodes pour mesurer le degré de concordance, par exemple, la similarité du cosinus entre les vecteurs, la distance KL comme la mise en correspondance ou l'épissage du vecteur comme fonctionnalité, ajoutez une étiquette ou non admis, méthodes supervisées utilisées pour former un classificateur pour prédire la probabilité d'admission. Nous avons testé sur un effet réel dans nos données d'entrevue, de base il LDA sac de mots, notre modèle devrait être de base nettement mieux sur un certain nombre de mesures, nous pouvons dire que nous avons trouvé un modèle entre le CV et la description de l'emploi pertinence.

Une autre application est question d'entrevue recommandé, supposons que nous avons un ensemble de questions d'entrevue, étant donné une requête que nous voulons recommander un sous-ensemble de questions liées à X, un sous-ensemble de X d'une part que cette question soit associée à la requête, d'autre part, régler problème couvrant de la connaissance, autant que possible, qu'il doit y avoir des différences entre les uns des autres. Nous déduisons cette question comme thème de l'entrevue la caractérisation des examens. Compte tenu des problèmes Relevance et la fonction d'optimisation de la conception de la diversité, F. Problème Set F Temps maximum d'acquisition comme la solution optimale. Nous mettons également l'accent sur le test de notre approche dans les questions d'entrevue réelle.

Nous vous proposons trois évaluation, la pertinence, la diversité, personne qualité, la pertinence est recommandé de dire combien il y a des questions dix liées à la question, la diversité est de dire que ces problèmes sont liés à combien sont impliqués dans différentes connaissances, est la dernière qualité de personne questions impliquant entrevue complète. Trois indicateurs d'évaluation, notre modèle recommandé questions Pertinence et diversité sont élevés, ce qui indique que le problème est pas lié à la requête recommandée et une couverture plus large des points de connaissances. En second lieu recommandé pour une question d'entrevue complète portant sur les questions de qualité que personne entretien technique est plus élevé, ce qui est conforme à la réalité. L'algorithme de correspondance à base de caractères BM25 résultats relativement médiocres, il peut être difficile d'explorer en raison de son résultat de la requête de connaissances potentiel. Plus précisément, nous montrons un exemple dans le document, plus l'interprétation visuelle de nos résultats. Si vous êtes intéressé, vous pouvez lire notre article.

C'est ce que nous travaillons espoir intelligent interviewer dans l'amélioration de la qualité de l'évaluation de l'entrevue influencer la vie des gens qui se démarquent dans un recrutement approprié. Merci.

2 Maoyu Zhao, l'Université de Beijing des Postes et Télécommunications

Show and Tell Plus: sujet orientée image multi-Sentence Sous-titrage

Nous regardons l'image tâche Captioning, pour décrire l'image du texte généré, la classification d'images avec elle dans des endroits différents peuvent être décrits dans une image avec une phrase, il est largement utilisé dans de nombreux domaines tels que l'enseignement des jeunes enfants, navigation aveugles, guides automatiques. Ceci est une bonne application, tournée maintenant le système de guidage, nous avons commencé soudainement parler à un endroit, je ne sais pas ce que disent, avec des lunettes VR, un aligné, il vous expliquera le contenu pour vous.

Le multimédia interactif, ainsi que nous pouvons générer automatiquement un certain nombre de rapports pour l'image de l'imagerie médicale, il a une application très large. Notre motivation est généralement générée image description décrit une seule phrase comme une image.

Notre première pensée est que le modèle LDA, la première de ces phrases vont dans le modèle de LDA, vous pouvez obtenir des paramètres, y compris la phrase de sujet, et les mots-clés sujet de la phrase peut être marqué sur la partie supérieure de l'image. Nous pouvons également visualiser notre thème. Le premier sujet, décrivant certains éléments de la cuisine, le deuxième thème, de la couleur, et le troisième, appelé le quatrième, lu quelque chose dans le journal.

Notre contribution est de proposer un modèle orienté objet, avec une description plus complète des phrases d'image. Nous vous proposons la porte de l'unité de fusion, le thème à l'intérieur, et la phrase résultant thème cohérent. Nous sommes également des phrases fixes numériques et les paragraphes fixés et avons fait beaucoup d'expériences pour prouver que notre modèle sur le thème de la description de la cohérence et de cohérence est valide.

La première est la description formelle du modèle, traditionnellement, une description de l'image cible est une image pour maximiser la probabilité d'une phrase donnée. Notre modèle, afin de saisir les différentes emphases, incorporé des variables thématiques. Dans le cas d'une image donnée, une phrase et l'image de distribution conjointe peuvent être développés en deux projets, dont le premier est le modèle de langage orienté objet, notre correspond modèle à une sortie, tandis que le second terme est un sujet de classificateur, ce modèle correspond à la deuxième sortie.

Notre prix comprend deux, l'un est le coût de la formation d'un modèle de langage, le second est le coût de la formation d'un classificateur.

Notre entrée se compose de deux, tout d'abord, ont été formés LDA, il y a une LCM première fois que nous allons entrer dans une image, dans l'instant nous allons phrase d'entrée.

Le premier module est l'unité de LSTM, il obtiendra deux ladite première représentation d'image, est délivré en sortie h0, et la représentation de contexte ht, t 0 est plus grand que le temps de sortie.

Nous avons aussi la porte de l'unité de fusion, obtenir trois représentation, un contexte indique, il y a une représentation de l'image, il y a un thème, l'intégration est très simple, en multipliant d'abord des thèmes et des images, puis puis épissé dans le contexte indiqué le modèle de distribution de probabilité à la langue de sortie.

Notre modèle n'est pas une description du paragraphe de la conception, mais dans les données de paragraphe peut obtenir de meilleures performances.

Compte tenu d'un thème, la carte réseau génère une partie importante de la description, et notre modèle produit des images avec des détails pertinents au sujet, ce qui est notre avantage du modèle.

Nous décrivons la même scène, comme la construction quand on décrira un côté différent, ce qui est des résultats qualitatifs.

3 Il Université benzène de l'Académie chinoise des sciences

TDNN: A deux étapes de Deep Neural Network pour la notation de Essai automatisé rapide indépendant

Essai automatique Marquer un point, se référant à l'apprentissage de la machine, l'écriture automatique pour jouer une minute, en espérant que réduire le coût de la notation manuelle, les États-Unis ont commencé à introduire des points AES GRE, etc. à l'intérieur de la machine en 2005.

Existante méthode de notation essai, largement divisé en deux catégories, un modèle de sujet, pour chaque essai de poser les points de données, modèle de formation, puis prévoir. En second lieu, l'objet d'un essai de scores séparés, les notes ont un examen simulé, essai écrit, mais aucune donnée de formation, seules les données historiques du passé, il est un modèle basé sur des données historiques passées pour faire rapidement un point.

La plupart des méthodes conventionnelles sont pertinentes pour le modèle de sujet, les résultats sont très bons, et les résultats montrent même la cohérence entre eux et la personne qui est encore plus élevé. Mais les sujets de l'essai indépendant relativement parlant classement, pas si simple.

Pour résoudre ce problème, nous proposons un algorithme basé sur une poussée droite l'apprentissage de transfert en deux étapes sur le travail.

La première phase, les sujets de la scène indépendante, nous avons formé un modèle simple de notation, qui fait l'objet d'un modèle distinct, il fait l'objet de l'utilisation des caractéristiques individuelles. Avec cette question comme le modèle pour prédire le score cible. Les évaluations ne volent pas, mais en général avec ce score peut savoir quel est le meilleur essai, ce qui est le pire.

La deuxième phase de la formation du modèle de réseau de neurones est utilisé pour prédire le score cible pour l'anthologie d'essais. La profondeur du réseau de neurones comporte trois parties d'entrée, une première partie, un réseau sémantique, qui est formé enrobage que l'entrée, la seconde partie est marquée entrée POS, la troisième partie est marquée par une syntaxe d'entrée. Nous espérons utiliser trois entrées différentes, respectivement, pour saisir l'information sémantique d'une écriture, la grammaire, la composition de la phrase. Un tissu ainsi que le paragraphe, l'organisation syntaxique, et leurs relations pour capturer un score d'écriture, après trois couches de composition génératrice de LSTM ont indiqué qu'ils sont épissés ensemble, avant l'entrée du réseau de distribution, afin d'obtenir le score final.

Le modèle proposé, ces trois différentes entrées du modèle, le meilleur essai de comparaison des performances de base sur toutes les routes, à l'exception des septième questions de rédaction des voies, plusieurs autres essai a amélioré dans une certaine mesure. Huit essai, en moyenne, est au-dessus de base, les caractéristiques suivantes sont différentes méthodes d'entrée. Nous avons constaté que la méthode proposée, en moyenne, peut être un certain degré d'amélioration sur les trois indicateurs, la meilleure combinaison de fonctionnalités est Embedding la syntaxe d'entrée ainsi que marque.

De plus, marquant la fin de ses informations exactitude, même si elle a marqué la fin de la partition est pas exacte, la fin étant supérieure à la négative Exemple de queue, tandis que les cas de négatifs de la queue des exemples positifs est inférieur à la queue, il y a plus de 80% de garantie de précision la fiabilité de la formation.

Pour résumer, cet article propose un transfert en deux étapes d'apprentissage modèle de réseau de neurones basé sur, dans l'espoir de résoudre l'objet d'une tâche de notation autre essai, les résultats montrent l'efficacité de la méthode, il y a une conclusion, syntaxiques, se sont avérés un scoring essai utile fonction.

Quatre semaines de sec Rong Université de Beijing des Postes

Attentif apprentissage Représentation différentiée pour la classification de la peine

Maintenant, beaucoup de phrases dans le modèle de classification, l'aspect le plus important est la phrase prend connaissance à ce stade représente le modèle d'apprentissage par la profondeur, nous utilisons le modèle du mécanisme d'attention, cette attention pour améliorer le mécanisme de l'ensemble de la phrase la science et la technologie ainsi que la cohérence de la performance du modèle de classification d'une grande aide.

En résumé, les travaux connexes qui, où l'attention de l'individu parmi les vecteurs de direction utilisés sont souvent vecteur moyen d'une phrase ou initialisation. Ce modèle unique volume ci-dessus peuvent élaborer des mécanismes de multi-hop, ce mécanisme est un changement majeur dans le single-hop d'origine est préoccupé par la phrase une fois, ce multi-hop sera mis à jour dans la phrase ci-dessus concernent le poids, attendons avec impatience une fois la finale nous pouvons faire attention à la partie plus importante de la phrase.

Sur la base de la performance du modèle unique hop sur quelques-unes des phrases plus complexes, des phrases ou une performance est pas particulièrement bonne. la performance générale est supérieure à un modèle unique-hop, en général, il utilise une pleine part en valeur, qui est un mécanisme d'attention multi-hop, il utilise un poids uniforme. De plus, nous avons constaté que c'est une façon de superviser toujours la classification de l'information et l'étiquetage, ne fournit pas d'informations sur d'autres sous surveillance dans le milieu à la fin.

Voici une question que nous avons constaté que ce modèle de multi-hop, le plus souvent dans la première attention est très important. Par exemple, pour la première fois l'attention au mauvais endroit, au fond plus loin en arrière et plus loin sur le mauvais chemin. Nous espérons que la façon dont peuvent être transférés au bon endroit pour la première fois la mauvaise attention.

Une motivation de notre modèle est de trouver un moyen de mettre cette erreur lorsque l'attention déplacé vers la droite au-dessus du seul bond, prévision donnée. Notre motivation est le temps de donner un signal d'inquiétude, de tels signaux envoyer un message, expriment est bonne ou mauvaise performance devant l'attention, si les erreurs de classification, nous devrions dit comment ajuster le dos du houblon.

Sur les méthodes de formation, si nous disons directement au ensemble de deux pertes, en fait, pas de différence. Nous avons ajouté un facteur de régulation de la perte de GR ci-dessus, en cas d'erreur, le problème n'est pas une zone particulièrement bien quand capable de transférer son attention.

Ce que nous régulateur utilise une fonction de distribution, ce qui signifie que C1 dans la prédiction de l'étiquette droite valeur de probabilité, si cette valeur est relativement faible, et que la prononciation sera relativement importante. Perte de se concentrer sur l'optimisation de L2 ci-dessus. Un tel signal d'affichage, la performance comment, ce signal est transmis à C2.

Enfin, la perte discriminateur, et cette perte d'information de son suivi de la classification des pertes C1 et C2, en utilisant une fonction.

Nous avons trouvé dans le laboratoire, si C1 apprend un impact particulièrement important sur le C2, si C1 est toujours donné une distribution de probabilité très forte ou très répartition moyenne de probabilité, aura une incidence sur l'apprentissage C2. Nous sortie prévisions de C1 à faire une multiplication, il a maintenu un mot que certaines étiquettes correctes, il n'y a pas des valeurs particulièrement faibles sur d'autres étiquettes. Enfin, nous mettons trois optimisation ensemble unifié.

Au niveau du modèle, nous vous proposons un modèle principalement différencié. Dans le niveau de résolution de problèmes, nous vous proposons un transfert de signal d'affichage d'une telle attention, le biais de l'attention peut résoudre efficacement le problème. De plus, nous avons fait un visuel, voir le modèle peut être extrait des caractéristiques plus expressives, l'amélioration de la décomposition de la performance, je vous remercie.

Harbin Institute of Technology Liu Yijia 5

Connaissances pour la prévision distillant structuré à base de recherche

prédiction de la structure du langage naturel est le langage naturel mappée dans une structure qui pourrait être un arbre ou un graphique comparant l'analyse syntaxique typique, ceux-ci sont traduits Prediction Structure. Le problème de la prédiction de la structure peut être modélisé comme un problème de recherche, pouvoir structurer le processus de recherche sur l'utilisation d'un processus de recherche pour arriver à une nouvelle action de l'Etat, par fonctionnement continu, pour atteindre le statut final d'un tel processus de recherche.

La prédiction des structures nécessite souvent une fonction de notation basée sur la recherche, dans un état, un score d'action est combien, aussi longtemps que l'élection au plus haut score de l'action a continué de descendre là-dessus.

L'apprentissage d'une fonction de notation est en construisant une stratégie politique de référence qui nous dit dans un état connu pour après la structure, l'action appropriée devrait être ce qui est, par cette politique de référence continue à fonctionner dans les données de formation, a gagné le droit état et de l'action correcte. Après l'état pour obtenir cette action juste et bon, la formation d'un discriminateur, vous pouvez obtenir la fonction de pointage.

Mais le processus de formation il y a deux grandes questions, à savoir le processus de formation, les données de formation divergence d'existence. En second lieu, la formation est incompatible test, le processus de test peut entrer dans un état d'erreur.

Des solutions au premier problème consiste à utiliser une approche intégrée de l'apprentissage.

La deuxième question pour la solution la plus typique est d'explorer les mécanismes mis en place dans le processus de formation.

Compte tenu des deux points ci-dessus, nous avons décidé d'utiliser les moyens de connaissances distillées ces deux problèmes sont résolus à usage unique.

Nous formons les modèles M avec des méthodes d'élimination, avec une production moyenne de la dernière sortie du modèle. Vous pouvez directement à partir de la sortie du modèle, la connaissance distillée sur elle. Parce que le modèle a exploré l'espace, nous recevons beaucoup de l'état de recherche, les connaissances sur l'état des objectifs d'apprentissage distillés à apprendre, à explorer le mécanisme qui est introduit dans le processus de rectification des connaissances à une école d'Etat à certains du modèle d'information.

Nous algorithme écrit dans un cadre unifié, la politique de l'école de référence, mais aussi de l'échantillonnage école de politique, deux parties des données obtenues est complètement orthogonales, Talia peut être fusionné ensemble pour améliorer encore les performances de notre modèle.

En termes de nos expériences dans deux ensembles de données standard, avec une petite expérience des données, les résultats de l'inspection est d'améliorer de 1,3 point, le résultat de petits levage NMT de données 2,6 points. Les données montrent que le modèle actuel est meilleur que les performances d'autres performances de prédiction de la structure basée sur la recherche.

Notre modèle peut mieux apprendre dans l'état des erreurs, peut apprendre de la distillation de la perte de connaissance, plus stable que NLL traditionnelle.

Le point culminant de notre travail est pas nécessaire de changer un modèle et ne pas ajouter de données, dans le cas de la connaissance artificielle, permettra d'améliorer la précision de l'analyse syntaxique de 1,3 point, et sur un petit modèle de taux de précision de la traduction automatique a augmenté de 2,6 points.

6 Luobing Feng de l'Université de Pékin

Mariant expressions régulières avec des réseaux de neurones: une étude de cas pour la compréhension Langue parlée

Notre travail consiste à l'expression correcte grâce à l'utilisation des connaissances en aide à la formation du réseau de neurones, et donc la quantité de données en très peu de temps, mais aussi la formation à un meilleur modèle.

Lorsque nous classe réseau de neurones apprentissage automatique de l'utilisation réelle, ont souvent besoin d'être combinés à des scénarios d'application spécifiques. Et une fois spécifique à une rupture de la scène, nous pouvons utiliser les données sont souvent très limitées. système de dialogue basé sur des tâches est un exemple typique. Où se trouve la difficulté dans la façon d'obtenir un système fiable de la langue parlée à comprendre le cas dans le domaine des petites données.

Spoken compréhension du langage est divisé en deux sous-tâches. L'un est destiné à identifier, à savoir identifier l'utilisateur de ladite intention correspondant d'instruction (la classification de phrase), le deuxième fente résolu, à savoir qu'elle est destinée à trouver la fente associée (séquence marqué) dans les instructions de l'utilisateur.

Dans le secteur industriel, l'absence de données, nous écrit habituellement manuellement une série de règles d'expressions régulières pour construire un système de règles. Bien que cette méthode ne nécessite pas de données de formation, mais sa capacité de généralisation est très pauvre. Et en conséquence, en raison du modèle de réseau de neurones fonctionne dans un espace vectoriel, il a généralement une bonne généralisation de la parité. Pour construire un système plus fiable dans les circonstances donc, si nous pouvons être une expression régulière et les réseaux de neurones, ce qui en très peu de données?

Nous regardons quelles parties de l'expression régulière est utile pour les réseaux de neurones.

Tout d'abord, l'expression de sortie régulière est certainement utile. Pour les tâches de classification destinées à identifier une telle phrase, l'expression régulière est généralement étiquette au niveau de la phrase sortie, et pour la détermination de l'emplacement de cette tâches de marquage de séquence, l'expression régulière est généralement sortie étiquette au niveau des mots. Ainsi, d'une part, nous appelons l'expression régulière peut être délivrée à un membre de quantification, et comme une entrée auxiliaire du réseau de neurones et, d'autre part, on peut également former une masse linéaire similaire, étiquette d'expression régulière nerf de sortie sortie du réseau d'une manière qui peut être appris obligatoire.

En second lieu, nous avons constaté que l'expression régulière elle-même nous a déjà dit que la moindre idée de classification mot est basée oui. Par conséquent, le correspondant, nous espérons également que le réseau de neurones lors de la classification est également préoccupé par le mot d'indice. L'accent mis sur des mots spécifiques dans une phrase est précisément ce que l'attention du module de réseau de neurones faire. Ainsi, une autre utilisation des expressions régulières est que nous pouvons utiliser des expressions régulières indices de mots pour guider des modules de formation attention.

En même temps, nous avons également constaté que, dans la pratique, nous allons utiliser les deux expressions régulières positives, elle considère en accord avec son modèle d'échantillons doit être marqué comme une classe, également utiliser des expressions régulières pour négatif, il considère conforme à son modèle de les échantillons ne doivent pas être marqués en tant que classe. Ainsi, nous avons proposé une attention positive correspondante et une attention négative. Parmi eux, l'attention négative dans l'échantillon que les mots nous disent que les échantillons ne sont pas dans cette catégorie, contrairement à l'attention de l'attention positive. Nous serons une attention positive pour le score k-classe et soustrayez attention négative pour marquer la première classe k, k-classe obtenir le score final.

Nos expériences sont réalisées sur des ensembles de données d'information de vol ATIS. Tout d'abord, nous avons procédé à l'étude de petits échantillons des expériences. Dans ce cadre, nous avons par la méthode d'échantillonnage aléatoire, de telle sorte que chaque classe ne comprend que 5, 10 ou 20 échantillons de formation.

Dans la tâche de reconnaissance intention, nos trois méthodes par rapport à la base de deux voies modèles LSMC ont considérablement amélioré. Parmi eux, l'utilisation d'une attention régulière de la surveillance des expressions des façons d'améliorer le plus, serait en mesure d'augmenter de 8% --15% de la précision. Dans la tâche d'analyse de l'emplacement, nous avons constaté que la sortie de fonction d'expression régulière comme méthode d'entrée qui fonctionne le mieux, serait en mesure d'augmenter de 5% macro F1. En même temps, notre approche est beaucoup plus que la simple mise en correspondance d'expression régulière. Lorsque vous utilisez ATIS montant de l'ensemble de la formation, nous combinons la méthode des expressions régulières peut encore apporter des améliorations significatives à la fente destinée à identifier et résoudre F1 macro-économique.

Enfin, nous avons analysé la différence entre les expressions simples et complexes corriger les expressions correctes. Nous avons constaté que des expressions régulières complexes en général que de simples expressions régulières ont de meilleurs résultats. Cependant, en utilisant une expression régulière très simple a été en mesure d'atteindre très nettement améliorée. Donc, quand nous pratiquons, vous pouvez commencer par une expression simple, a commencé à corriger, puis dans le cas du coût de permettre, puis augmenter progressivement la complexité de l'expression correcte.

7 Ni Yao Beijing Institute of Technology

Cagan: Conformément accusatoire une formation bonifiées GAN

Génération contre les applications de réseau de génération, ainsi que dans de nombreux domaines de l'image. En termes simples, le réseau génère une confrontation est de rendre l'image résultante et essayer de distinguer la véritable image, dans la mesure du possible, de sorte que le générateur génère l'image semble très réel.

En fait, ce réseau de confrontation a deux problèmes. Tout d'abord, il faut une fonction d'optimisation de l'espace, mais apparaît comme un réseau de neurones dans le processus réel, l'espace des paramètres optimisés à l'intérieur limité. Un autre, disparaissant gradient. Lorsque la discrimination est trop forte lorsque le générateur est d'apprendre presque tout, cela conduira à l'accident de mode d'instabilité et de la formation.

Les méthodes existantes pour surmonter la confrontation d'apprentissage dans un espace de paramètres limité, ainsi que sur la question de la disparition du gradient est divisé en deux catégories, on est commuée ne le gradient de la fonction est utilisée pour surmonter les disparait problème, la seconde est de le résoudre dans une optimisation de l'espace des paramètres limité un générateur correspondant à une pluralité de classificateurs, cette formation peut être mieux.

Dans la solution, on ajoute l'abandon dans le discriminateur à l'intérieur du réseau. Ainsi, chaque sortie correspondant à un réseau d'échantillonnage pour un traitement particulier de l'échantillon, il est possible de construire un certain nombre de classificateurs.

Il a l'avantage que, d'une part, il est proche de paramètre d'optimisation de l'espace infini, le deuxième paramètre à explosion à éviter, d'une troisième, pour éviter de trop ajusté, de sorte que le processus de jeu ne peut échapper à ce dilemme, à savoir générateur quasi il combine les données de formation.

En dehors de la construction de plusieurs classificateurs, construit également un processus cohérent de formation de combat. Il est surtout vrai dans la mesure du possible la performance du même échantillon, la cohérence de mesure à la différence entre les deux réseaux différents pour identifier la sortie d'échantillons réels représentent autant que possible compatible avec l'objectif de mieux ajusté aux données réelles. Il des données incohérentes générés, autant que possible, est notre point de départ pour une photo avec beaucoup de fonctionnalités faux, il a beaucoup de caractéristiques fausses, mais un réseau d'apprendre des caractéristiques différentes, les différents réseaux de telles différences aussi grandes que possible.

Lorsque le générateur de formation, nous allons faire des échantillons générés aller vers le discriminateur pensent la même direction.

la formation et la formation parfois générateur de discriminateur au cours d'un discriminateur de formation peuvent être multiples itérations, une itération générateur, cela se traduira par la cohérence sera une certaine compensation, afin de le rendre générer la cohérence des données et des données réelles la cohérence est maintenue dans une certaine plage, nous utilisons une fonction pour l'équilibrer.

Nos expériences compatibles avec le processus de formation de combat a ajouté deux à l'intérieur de la ligne de base, mis sur la tâche de génération d'image. Notre performance a augmenté sur 10 points ICRA de création 9.17, sur la STL-10 était 10,02, la dernière génération de l'image à la recherche réaliste. En même temps, notre modèle de processus de formation est également plus stable. Dans l'image sur la tâche de classification semi-supervisée, nous avons obtenu un résultat concurrentiel, nous générons image plus diversifiée, peut atténuer le problème du mode réseau contre l'effondrement.

Conclu, nous utilisons façon de construire un abandon discriminateur nombre presque infinie, nous vous proposons la même formation de combat, notre expérience a obtenu des résultats avancés, nous avons augmenté la stabilité du mode de formation et pour faciliter l'accident.

8 Si l'institut Hao calculé

La réduction de la variance du gradient Bandit algorithme utilisant variable antithétique Méthode

Ceci est un travail à être optimisé pour la méthode du gradient de la politique sur un problème de ratière. méthode de gradient de politique en utilisant la méthode de Monte Carlo pour estimer la variance quand il y a un grand gradient En introduisant une double méthode des variables à réduire.

Tout d'abord, le contexte. Dobby décrit une telle question: nous devons jouer un rôle plus des machines à sous bras, bonus de chaque bras obtenu soumis à différentes distributions de l'inconnu et les attentes ne sont pas les mêmes, dans un certain nombre de jeux, peut savoir quel bras baisse attente de récompense est plus grande. méthode de gradient de politique est une méthode importante pour résoudre ce problème. Pour chaque bras fixé une valeur initiale de 0 pour la préférence, la préférence obtenir une distribution de probabilité après SoftMax, qui est, nous jouons le jeu de stratégie que nous sommes la probabilité de sélection de chaque bras. Dans cette distribution de probabilité, nous pouvons citer le rendement attendu d'une expression, avec sa préférence pour le bras aux dérivées partielles, les préférences optimales grâce à une méthode itérative de montée de gradient, pour obtenir une bonne stratégie de jeu, la préférence finale est le plus gros gains EM bras.

Mais dans le processus de résolution, nous ne savons pas chaque bras de prévisions de bénéfices, donc je ne peux pas obtenir un gradient précis. Donc, en utilisant la méthode du gradient de la politique méthode de Monte Carlo à son estimation non biaisée, mais on estime qu'il ya un grand écart. Et cet écart de toute évidence sur la résolution efficacité ou si elle est le résultat de notre méthode de gradient croissant ont causé un grand impact, donc nous espérons réduire la variance.

Pour la méthode de Monte Carlo, en fait, il a été des stratégies plus de réduction de la variance matures, telles que la méthode variable de commande, méthode à double variable. Similaire au contrôle des variables dérivées de la base des stratégies d'apprentissage sont améliorées méthode de dégradé utilisé, nous lancerons notre Dobby approche méthode get même variable.

Voici une liste première estimation directe de la méthode du gradient, l'expression, au contraire on peut le voir après la méthode de réglage des paramètres variable double gauche sera constante, à savoir, à droite de l'expression de notre méthode peut être obtenue. Notre approche est d'ajouter trois parties et, d'autre part, trois parties sont en relation inverse, la plus grande difficulté est inversement liée à la mise en place d'une fonction complexe qui doit construire une voix monotone.

Comment structurer? A titre d'exemple, il y a quatre bras de ratière, chaque bras du gradient du robinet obtenu sous forme d'une ligne, pouvant constituer une telle structure de matrice afin de faciliter une fonction monotone, on utilise pour résoudre le procédé de remontée de coordonnées, il est supposé que nous sommes sélectionnez le second bras, nous maintenant seulement besoin de se concentrer sur la deuxième ligne de la matrice, si vous pouvez trier les valeurs de cette colonne peut faire une réelle valeur de gradient est égal au côté droit de l'intégration de fonction définie par le 0-1, et depuis cette fonction est monotone, il peut être facilement introduit dans la méthode à double variable. Toutefois, les prévisions de bénéfices dans chaque bras de l'équation on ne sait pas, comment nous voulons faire le tri? Dans ce numéro, nous croyons que la valeur de préférence pour chaque bras que nous utilisons dans la formation après un certain nombre de relations dans les attentes de la taille et de la rémunération sont compatibles, donc nous préférons l'utilisation directe de la taille de sorte à obtenir une fonction approximative sur la droite, qui l'ensemble du processus est notre approche.

Ceci est mon expérience, qui a été réalisée sur 20 dans chaque bras et de bras pour obéir à Dobby de distribution Bernoulli, la figure dans les spectacles du milieu de la probabilité finalement trouvé le bras optimal, en tirant sur les bonnes expositions le montant estimé variance de cas.

En général, ils sont. Enfin, inclure des estimations non biaisées, il y a une certaine réduction de la variance éprouvée, il y a une déclaration détaillée dans laquelle le papier, nous sommes regard peut intéresser à.

9 Yue Feng Institut de l'informatique

De Greedy Sélection à la prise de décision Exploratoire: Classement Diverse avec les réseaux politiques Valeur

Notre travail consiste à résoudre les problèmes de choix gourmands optima locaux causés dans le classement diversifié dans.

Lorsque l'information est exprimée dans notre requête de requête contient un large éventail de résultats de recherche les utilisateurs veulent voir est la possibilité d'inclure un large éventail d'informations. Alors Diverse objectif de classement de cette tâche est de résultat de la recherche peut contenir autant de sous-thèmes.

La méthode actuelle, Classement Diverse Ce processus est modélisé comme une séquence de processus de sélection de documents pour évaluer se compose principalement de deux aspects, on est les aspects de similitude, on est la diversité Enfin, les deux facteurs une approche globale, à sélectionnez le document. Ce processus, il sera considéré comme une seule étape qui documente la position actuelle sélectionnée à chaque étape le meilleur moment, n'a pas tenu compte du processus de commande de documents de suivi est un cadre de choix gourmand.

solution optimale locale ce choix constituera le cadre de ce problème. La solution la plus simple consiste à rechercher un document de commande ultérieurs peuvent traiter trier, mais à cause de notre problème est un processus de sélection des sous-séquences, il est une question difficile non polynomiale, si tous la recherche très réaliste, donc nous espérons utiliser certains aussi peu que possible dans la recherche pour résoudre ce problème. Voici la méthode que nous utilisons SCTM, vous pouvez rechercher à travers un certain nombre de stratégies pour guider l'arbre de recherche, essayez de rechercher avec moins de fréquence pour obtenir une solution relativement mieux. Notre stratégie de recherche principalement par notre analyse de réseau valeur politique. A l'intérieur, notre politique est principalement de contrôler la largeur de la recherche, notre valeur est avant tout une recherche de contrôle de la profondeur.

Le processus est de modéliser le processus spécifique Classement diversifié est modélisé comme un processus MDP, l'état entre le processus MDP est déjà réglé le problème et les documents. Notre action est après l'élection de chaque document. Dans un état où le transfert est que, après avoir sélectionné un document, nous avons mis ce document sur la liste a été triée. Nous modules Il y a quatre modules principaux, un module encodage d'état, ainsi que des modules de stratégie, module de valeur, et enfin SCTM module de recherche.

Tout d'abord à vous dire sur le module encodage, nous utilisons LSTM le modèle, nous renseignerai l'état initial LSTM de nos documents sont entrés de manière séquentielle au module de LSTM, il retournera à notre état ultime, nous ENCODER état final vecteur tel que l'état actuel du MDP. Ensuite, en fonction de l'état actuel, module de stratégie qui document peut être donné le meilleur, le module de valeur est principalement l'évaluation de l'état actuel des revenus subséquents, qui est basé sur l'état actuel, la liste est triée si l'achèvement ultérieur de la déclaration finale est Que, faire une estimation. Enfin, le module de recherche SCTM, qui est principalement basée des stratégies d'orientation des politiques et la recherche de valeur, effectuer une recherche, un peu en mesure d'effectuer un emplacement ultérieur de l'exploration, vous pouvez obtenir une meilleure stratégie de recherche.

Enfin nous validons notre modèle sur des ensembles de données TREC, méthode comparative, y compris la méthode d'apprentissage en profondeur et les méthodes traditionnelles, et enfin les résultats expérimentaux sont significativement améliorés. Nous sommes également sur le rôle de la recherche SCTM sont explorées au cours du processus de formation et d'essai, la politique SCTM nos résultats de recherche que la recherche n'a pas sensiblement amélioré.