Quand vous vous tenez sur la journée portes ouvertes, les yeux regardant fermement loin.
Il n'y a que l'IA a reçu l'image, et une synthèse image corporelle 3D .
Plus tard, vous commencez la libération de la nature, la danse libre, a été surpris de trouver:
Le moi virtuel, mais aussi avec la même danse posture, et vous presque synchrone .
Tout semble innée, comme votre âme dans son corps.
Ceci est un a été sélectionné. CVPR 2019 Oral L'étude, mais pas seulement à cause de l'effet du réalisme:
Plus important encore, Il n'a pas utilisé la modélisation de forme 3D (Modélisation explicite de forme 3D), mais mappage de texture 2D (2D Texture Map), pour le rendu complet.
Dans ce cas, le rendu est toujours réaliste. Même le rendu d'une nouvelle posture pas vu, cela va sans dire.
En fin de compte est de savoir comment faire?
circuits excellents du cerveau
écrit papier, qui est entre Graphics Classique Computer et apprentissage profondeur Un chemin entre les deux.
Parmi eux, l'idée est graphique, les géométrie (Géométrie) avec grain (La texture) traitées séparément.
La géométrie est une 3D, comme la sculpture du corps blanc, la texture est en 2D, comme l'extérieur de la peau.
Et la tâche du réseau de neurones, est limitée à la sortie de la prédiction de texture entre la figure., Le type d'une déformation d'image / distorsion ( gauchissement ). En d'autres termes, la « peau » 2D attaché au corps humain en 3D.
Plus précisément, il est un rôle de réseau complet de convolution est générateur (Partie jaune ci-dessus). Elle est basée sur l'entrée du geste de l'homme, et les paramètres de la caméra, pour chaque point caractéristique du corps humain, générer une des coordonnées de texture 2D.
Avec ces coordonnées de texture peuvent être prédits image 2D RGB .
Quoi qu'il en soit, l'effet de l'aspect final, est relié à une vue 2D d'un cadre. L'angle de chaque trame est différent, regardé 3D est le portrait:
De cette façon, parfait pour éviter la modélisation de forme 3D.
Le processus de formation, le réseau chaque dessin 2D prédit et Ground Truth faire la comparaison, la perte (pertes) de retour en arrière propagation au générateur, la capacité de prévision améliorée. Le modèle est données vidéo multi-vues À la formation.
Une fois la formation terminée, même si vous mettez une nouvelle posture AI n'ont pas vu, il peut également être fait pour rendre réussie.
L'équipe a dit qu'il a été parce que, réservés Caractérisation explicite de texture (Explicit Texture représentation), aide Améliorer la capacité de généralisation .
Bien sûr, ne pas faire de la modélisation 3D de forme, cela ne signifie pas tout le voyage passé en 2D.
N'oubliez pas, et la texture 2D avec de la nourriture, et le corps est la géométrie 3D. En d'autres termes, l'estimation de pose humaine, est estimation de la pose 3D .
Cette partie de l'équipe des grands prédécesseurs DensePose là-bas, prendre l'esprit: la caméra pris dessin 2D, chaque pixel de l'humanité, sont mis en correspondance à des endroits spécifiques sur la surface du corps 3D.
Ensuite, il y a le geste 3D. Rappelons que le réseau ci-dessus de prédiction de texture 2D, l'entrée est l'attitude.
modélisation 3D forme 3D sans synthèse portrait atteint.
Il a cité un dicton: Parmi l'inattendu, est logique.
de la Russie
La recherche de cette nouvelle et lisse idée, centre Samsung AI de Moscou et l'Institut Skolkovo des sciences et de la technologie. Il y a moins de 12 membres de l'équipe.
Si vous voulez plus sentir profondément le modèle glamour, allez regarder à partir du portail.
Portail papier:
https://arxiv.org/abs/1905.08776
Accueil Portail:
https://saic-violet.github.io/texturedavatar/
Portail principal DensePose:
- FIN -
recrutement sincère
Qubits recrutent éditeur / journaliste, basé à Zhongguancun de Beijing. Nous attendons de talent, des étudiants enthousiastes de nous rejoindre! Détails, s'il vous plaît interface de dialogue qubit numéro public (QbitAI), réponse mot "recrutement".
Qubit QbitAI · manchettes sur la signature de
' « suivre les nouvelles technologies AI dynamiques et de produits
