Charles Annie Xiao du fond de la non-Temple en retrait
Qubit produit | Numéro public QbitAI
Peu esquissés quelques coups, vous pouvez laisser les vêtements deviennent une sorte de déesse.
dessiner le contour de Aisément sous-vêtements, qui porte le gilet rose et soeur, tout à coup mis en sous-vêtements. Comme ceci:
effet Génération et pas illégales, aucune trace P, mais il est avéré être synthétisé imaginer non selon le schéma.
Avant une fille noix ou d'or tordu les cheveux dans ce tableau sont les grandes lignes sans une forme de chapeau, la seconde suivante, il devient un effet réel, mais aussi ne vois pas de traces d'additions artificielles.
Qu'est-ce que habillait ah artefact? !
Récemment, l'Université Zhongshan et d'autres chercheurs ont mis au point un tel modèle pansement, le nom de code FE-GAN Il peut par tout projet de graffiti, en changeant la modélisation des personnages.
L'effet peut être obtenu peut être décrit comme variable, puis regardez ensemble:
plans de changement universel roi
Auparavant, il InstaGAN et autre modèle AI, peut atteindre un pantalon jupe photo échange et d'autres opérations, et le protagoniste d'aujourd'hui FE-GAN a une variété de fonctionnalités supplémentaires.
tirer doucement, vous pouvez Entrez les caractères changer de vêtements A partir de gilet soeur de sous-vêtements deviennent cet effet.
De même, un pantalon blanc avec un trou dans la ligne à marquera la prochaine sur, disparaissent un pantalon, un short blanc est apparu.
En plus des changements de modélisation de vêtements, FE-GAN également Changer la couleur des tissus de vêtements .
Et il vous suffit juste, comme, les contours d'esquisse et les contours peuvent être différentes brosse couleurs. Regardez rendus:
Le costume est avéré être ...... ils venait de peindre? Il semble beaucoup plus jeune que beaucoup de robe noire pure.
En plus de la transformation basée sur l'original, Généré à partir de rien accessoires Mention.
Le port de la fille de jean, a voulu donner son ombre associée à haut chapeau noir? Ne pas re-tirer, tracer la ligne.
Pas de défauts, pas dur et ont de 0 à, FE-GAN sont possibles.
Pensez-vous que tout cela est de la FE-GAN?
Nonono, il Il peut également être utilisé pour modifier le visage ......
Encore plus détaillée les traits du visage nécessaires pour générer, ses effets peuvent être justifiés.
Un sourire menton petit frère chaumes rond, « après » est devenu alène visage, et même aider à réparer sa barbe.
tête de Sur petite balle, tirer des cheveux, des cheveux vraiment longs devient:
Ce modèle, appelé FE-GAN, est tout simplement un changement universel des plans artefact ah.
Voici comment réaliser?
Deux étapes lifting
Pour un meilleur effet de récupération, FE-GAN pour générer des images en deux étapes, en commençant par l'image de profil de récupération est bloqué, puis ajouter au caractère de vêtements, coiffures et autres détails sur croquis dessinés sur la base à la main.
Ces deux étapes sont réalisées par deux réseaux différents, y compris un réseau d'analyse de forme libre et de résoudre une couche normalisée a une attention multi-échelle à la perception du réseau de réparation.
1, le réseau d'analyse de forme libre
Cette section est chargée de recevoir les coups de laminaires, le bruit, la couleur et compléter le tableau avec un bloc, et génère un Photos de synthèse analytique . L'image est résolu avec un profil de silhouette.
Par rapport à la récupération d'image directe est terminée, l'image de résolution incomplète pour terminer le processus plus facile et faisable, car moins schéma détaillé d'analyse. des images de résolution incomplète peuvent être obtenus par l'algorithme de détection de bord.
De plus, l'image d'analyse de l'information sémantique après la restauration, mais aussi guider avec précision la texture plus de détails le rendu de chaque partie de la carte.
À cette fin, les chercheurs ont proposé un réseau d'analyse de forme libre, lorsqu'il donne les images ombrée de couleur peuvent synthétiser une image analytique complète.
Freeform encodeur basé sur le réseau de résolution - l'architecture du décodeur. Encoder reçoit cinq entrées: l'analyse d'une image incomplète, zone effacée croquis, échantillons de bruit d'une distribution gaussienne, et rares de couleur du masque.
Il est à noter que, étant donné le même schéma d'analyse incomplète et croquis de différentes couleurs et accidents vasculaires cérébraux, le réseau peut synthétiser freeform différents diagramme d'analyse analytique, ce qui montre que les modèles analytiques sont produits contrôlables.
2, résoudre la réparation sensible au réseau
Synthèse générée à l'étape précédente avec l'image originale de l'analyse d'image incomplète de la section d'entrée, et pour manipuler une image par un schéma de couleur.
Les chercheurs ont introduit une partie d'un codeur convolutionnel, la surface effective de l'image à partir des caractéristiques d'extraction incomplète. Dans la partie codeur convolutif n'utilise pas directement un masque, mais par une combinaison du masque de réseau de sorte que seule la zone de premier plan d'intérêt.
En plus de la partie du codeur convolutionnel, les chercheurs ont également mis en place un codeur convolutionnel standards caractéristiques sémantiques extraites de l'analyse de synthèse sur la figure. Responsable de diagramme d'analyse sémantique et des informations de localisation pour la réparation de guide, le même contenu sémantique de la région devrait être similaire.
Compte tenu des caractéristiques sémantiques, le réseau peut être plus précisément rendu des textures sur une région spécifique.
En raison de la diversité et de la complexité de la texture et de couleur croquis traits image incomplète, forme libre et détermination réseau de formation de réparation d'analyse syntaxique sensible au réseau est une tâche difficile.
Pour résoudre ces problèmes, les chercheurs ont proposé six pertes - perte conflictuel, la perte de la perception, le style, la perte, la perte de l'analyse syntaxique, les caractéristiques multi-échelle des pertes, la différence de perte totale - de normaliser la formation, la formation dans les différents aspects facilitant, plus stable.
Win sur un autre modèle de lifting
Des chercheurs FE-GAN testés sur DeepFashion, MPV et l'ensemble de données auto fashione, par rapport à Deepfill v1, partielle Conv, trois méthodes Edge-connexion.
Il y a trois paramètres résultats de l'évaluation quantitative PSNR (pic rapport signal sur bruit), SSIM (indice de similarité structurelle) et FID (Fréchet distance initiale) sur les indicateurs objectifs. Amazon a également utilisé la plate-forme d'examen manuel d'AMT pour évaluer les résultats qualitatifs.
Les résultats montrent que FE-GAN sur les indicateurs ont obtenu les meilleurs résultats.
AMT dans la plate-forme Amazon, FE-GAN a également un avantage écrasant, en comparaison avec Deepfill v1, partielle Conv plus de 8 pour cent des personnes se sentent l'effet FE-GAN est plus réaliste.
équipe chinoise
artefact pansement le genre de personne?
Toute l'équipe de neuf personnes, y compris Sun Yat-sen Le Haoye Dong, Xiaodan Liang, Zhang Xujie, Zhenyu Xie, Bowen Wu, Zhang Ziqi, Jian Yin, professeur de la compagnie CMU Xing Bo fondée par AI Petuum Le Yixuan Zhang et byte battant Le Shen Xiaohui.
Un pour Haoye Dong (secteur Dong-ho) est un étudiant au doctorat de Sun Yat-sen données de l'Institut et l'informatique, sous la tutelle du professeur de l'Université Zhongshan associé et professeur de doctorat joint Xiaodan Liang.
Deux pour Xiaodan Liang, était auparavant le responsable scientifique du projet CMU Département de l'apprentissage de la machine, a travaillé avec des ondes Xing.
Au cours de 2014-2016, Xiaodan Liang a été chercheur invité à l'Université nationale de Singapour, a également collaboré avec Yen Shui pour cent.
Xiaodan Liang sera le record du sommet est également très lumineux. Ses spectacles page d'accueil que deux documents sont NIPS 2018 ont reçu deux reçu AAAI 2019, 8 articles sont reçus ECCV 2018 Là où il y a deux rapport oral.
portail
Enfin, attacher le papier mode édition avec attention multi-échelles Adresse Normalization:
https://arxiv.org/abs/1906.00884
- FIN -
recrutement sincère
Qubits recrutent éditeur / journaliste, basé à Zhongguancun de Beijing. Nous attendons de talent, des étudiants enthousiastes de nous rejoindre! Détails, s'il vous plaît interface de dialogue qubit numéro public (QbitAI), réponse mot "recrutement".
Qubit QbitAI · manchettes sur la signature de
' « suivre les nouvelles technologies AI dynamiques et de produits
