ingénieur Google cerveau Eric Jang expérience récente du genre Snapchat expérience d'échange de filtre et a écrit un article, AI Yanxishe compilera cet article comme suit. Snapchat filtres échange de sexe source inépuisable de célébrations amusantes et faire la fête, le résultat de la conversion est très satisfaisant. En tant que personne et des algorithmes d'apprentissage machine traitent chaque jour, l'étendue de cette puissante fonctionnalité peut être jusqu'à très magique.
Je suis très intéressé par cette fonction, comme un bébé curieux, je me suis inscrit ce matin Snapchat et essayer pendant un certain temps, en essayant de comprendre le principe, et comment je vais le casser. Note: Ce n'est pas pour la documentation de l'API Snapchat sur la façon de désosser ou d'autres applications de conception des fonctionnalités similaires, il est juste quelques-unes des hypothèses de base du test, le test quand il prend effet, quand il ne prendra effet, bien sûr, plus un peu de narcissisme salle de bains selfie plaisir.
observation préliminaire
Le milieu de la photo est une salle de bains selfie photo originale. La gauche est l'effet du filtre « mâle », est juste l'effet du filtre « femelle ».
La plupart des utilisateurs peuvent remarquer que la première chose est ce filtre fonctionne en temps réel, vous pouvez utiliser plusieurs angles différents, et ne nécessite pas le réseau peut fonctionner. Lorsque vous portez un bonnet de laine, les cheveux rendu performance est très naturel.
Ci-dessous un coup d'une image animée lorsque je me suis retourné. Application ne semble être en mesure de détecter si un visage pointe dans la direction indiquée, et seulement pour satisfaire la valeur booléenne du temps déclenchera des effets de filtre.
échange de genre de filtres adaptés pour une variété de conditions d'éclairage, mais les cheveux ne semble pas ombre portée.
Vous voyez que je n'étais pas dames très mignon tourné Gangster .
Ensuite, je pense est un exemple de frais - cheveux synthétiques peut capturer une source clé de la lumière.
Test occlusion
De l'observation précédente, son effet est très bon. Ainsi, nous pouvons faire échec? Ce filtre peut détecter le visage est dans la mauvaise position d'une personne, mais s'il y a quelque chose bloque son visage comment faire, si le visage obscurci sera « tour » de celui-ci? La réponse est oui. Voici un test (occlus horizontal), je glisse sur le visage d'un objet. Lorsque seulement la moitié de son visage obscurci, le filtre sera en mesure de travailler, mais si le visage est bloqué trop, « je dois faire greffe du visage » option sera définie sur False.
Ensuite, regardez l'occlusion verticale, l'effet de filtre semble dépendre de l'endroit où la « région de visage est protégé pourcentage » pas important ce que les caractéristiques sémantiques (par exemple les yeux, les lèvres) sont bloquées. Filtres dans la décision, « je devrais faire face à transplanter » doit avant de passer à « Faux », vous pouvez voir sa main dans une bouteille blanche devient floue. Aussi, quand je mets la bouteille sur la ligne centrale de la vue, mes cheveux devient brun doré. Cet effet est très intéressant. À mon avis, cela doit être une machine d'apprentissage au travail, il extrait des données de rendu des données formées. La question est, continuera à faire tutoriel maquillage plus blonds?
Je couvert une partie du masque facial avec du noir de carbone activé, le rendu résultant semble très stable. Les femmes en fait un masque de filtre légèrement éliminé. Peut être clairement vu du GIF, « échange de visage » suivant (notez les poils coupés-forte pour atteindre mon épaule quand) fonctionnalité est limitée à suivre la zone rectangulaire de la tête.
Une fois que je couvert le reste du visage avec un masque, filtre cessera de fonctionner. Fait intéressant, il me semble encore faire face à la zone nue sera détecté comme visage, le filtre continuera à la conversion de style visage dans la région. Vous pouvez voir l'effet de rendre la tête et le visage comme Junji Ito histoires d'horreur (https://en.wikipedia.org/wiki/Tomie) comme clignotant.
En plus du temps pour exposer le masque, le rendu est étonnamment stable.
couche cheveux
Je suis impression réaliste des cheveux le plus profond, donc je suis en train de déterminer s'il y a la tête d'élaborer un modèle de grille pour l'éclairage dynamique, ou si elle est basée sur l'apprentissage de la machine.
Cheveux semble être rendu comme la couche supérieure (couche comme Photoshop), mais avec des filtres simples oreilles de chien utilisent généralement / langue, les cheveux a un canal alpha de la couche partiellement transparente. Si vous regardez attentivement, il y a un masque de segmentation claire sur les cheveux, vous pouvez faire la face exposée. Snapchat suivi de tête peut être en cours pour déterminer la position de la tête, des cheveux et calculer masque 2D alpha.
Qu'est-ce que cela fonctionne? Ce qui suit est ma conjecture.
À première vue, mon esprit émerge est une architecture CycleGAN (https://junyanz.github.io/CycleGAN/), qui seront distribués mâles qui cartographiées sur les visages féminins, et vice versa. La collecte des données devrait être inclus dans les huit dernières années Snapchat utilisateurs upload (et n'est pas supprimé Snapchat) de milliards d'auto-portrait.
Mais cela ne mène à beaucoup de questions:
Ils ont formé Image Converter est vraiment pas besoin d'images paire ne? Si cela est vrai, ce serait extrêmement choquant, compte tenu CycleGAN sont beaucoup de problèmes, il peut même simplement ne peut pas le faire. Eh bien, je parie qu'ils ont une cible aligné non apparié, l'objectif est d'être régulée par un nombre limité de paires de données réelles (https://areeweb.polito.it/ricerca/cgvg/siblingsDB.html), tels que les hommes / les paires d'images de frères et surs femmes, et même certaines données sont le résultat de la conception manuelle de transition de genre, les données peuvent être améliorées à l'aide (par exemple, la mâchoire inférieure plus d'effet de contour arrondi peut être accompli en l'absence de situation d'apprentissage de la machine).
Transformation et cheveux du visage semble être indépendante de la synthèse, puisqu'elles occupent différentes couches (ou peuvent être synthétisés et divisés en différentes couches avant de rendre). Ceci est la première fois que je vois GAN être utilisés pour rendre un canal alpha. cheveux Je doute est pas vraiment produit par GAN. Dans un aspect, clairement une fonction lisse, qui peut être commuté en fonction de la position de l'objet qui couvre les cheveux de couleur de surlignage, ce qui indique que la partie de couleur peut être apprise à partir des données. D'autre part, les cheveux est très stable, je peux à peine croire qu'il est tout à fait GAN synthèse du générateur. J'ai lu un autre homme est-asiatique avec un exemple de greffe de visage de coiffure similaire, ce qui suggère qu'il peut y avoir une grande bibliothèque de modèles de haridos (utilisation améliorée des modèles d'apprentissage machine).
Enclenchent les ingénieurs savent ML, à la fin au plus tard la formation de convergence CycleGAN sur un vaste ensemble de données?
Seules les ressources informatiques limitées, comment ils ont mis ce niveau de réseau de neurones et en cours d'exécution? Ils résolution d'image générées dynamiquement est combien?
S'il est en effet un CycleGAN, alors les hommes filtrent à l'image de mon filtre femelle doit être restauré à l'image d'origine lorsque les poissons, à droite?
Comme le montre la figure ci-dessus l'action, la proportion de cette image est essentiellement le même, mais quand on a mis pour agrandir très proche, vraiment ce visage est mon visage. Je suppose avant que la norme d'entrée d'image visage réseau de neurones, il y aura une culture de l'étape de pré-traitement et le redimensionnement. Ce filtre peut avoir d'autres sous-programmes, tels que le réglage de la taille de la mâchoire inférieure, ils n'utilisent pas CycleGAN, mais il sera ajouté de telle sorte que le filtre ne F2M et M2F contraire.
rêverie technique
J'ai un ami comme celui-ci, il doit faire beaucoup de travail à faire avant de se habiller. Je suis très heureux, car il maquilleuse, qui joue le rôle des artistes et mégissiers plus facile à beaucoup moins cher et plus rapide pour essayer de nouvelles idées et de l'identité de cette technologie.
changements de visage et la voix et d'autres technologies de l'Internet pour faire un plus grand espace public entre la réalité et le rôle de ces rôles derrière. Mais ce n'est pas nécessairement une mauvaise chose: Si vous êtes un homme, mais désireux de devenir une fille anime mignon en ligne, nous devrions avoir une identité qui le juger? (Youtube lien vidéo: https //www.youtube.com/watch v = :? DIFbgtiQnZY) Avec nos médias sociaux quotidiens déforment la normalisation du genre, le sexe, la mobilité et la culture habiller devient plus normalisation dans la société il?
L'avenir est très excitant.
via
https://blog.evjang.com/2019/05/fun-with-snapchats-gender-swapping.html
Cliquez pour lire le texte original, en ajoutant des équipes top CVPR échangeront un échange de vues et d'apprendre avec leurs pairs
