Source: TensorFlow

Cet article est � propos de 2626 mots , Sugg�rer une lecture 5 minutes

Cet article pr�sente deux nouveaux packages pour le suivi des points cl�s du visage et des mains: Facemesh et Handpose.

R�cemment, nous avons publi� deux nouveaux packages: Facemesh �avec Handpose , Utilis� pour suivre les points caract�ristiques principaux du visage et de la main, respectivement. Le package publi� cette fois est Google Research MediaPipe �avec TensorFlow.js �Le travail de l'�quipe.

Essayez la version de d�monstration en direct dans votre navigateur

Le package Facemesh peut trouver des limites faciales et des points de caract�ristique dans une image, tandis que Handpose peut �tre utilis� pour trouver des limites de main et des points de caract�ristique. Ces packages sont petits, rapides et peuvent s'ex�cuter compl�tement dans le navigateur, de sorte que les donn�es ne quitteront jamais l'appareil de l'utilisateur, prot�geant ainsi la confidentialit� de l'utilisateur. Vous pouvez maintenant essayer ces packages en utilisant les liens suivants:

Facemesh
Handpose

Ces packages ont �galement �t� fournis en tant que composants dans MediaPipe (une biblioth�que pour la construction de pipelines de sensibilisation multimodaux):

Suivi du visage MediaPipe
Suivi de la posture de la main MediaPipe

Nous esp�rons que le suivi du visage et de la main en temps r�el pourra d�marrer un nouveau mode interactif: la position g�om�trique du visage est la base de la classification des expressions faciales et le suivi de la main est la premi�re �tape de la reconnaissance des gestes. Nous attendons avec impatience de voir comment ces fonctions �largiront davantage l'application de l'interactivit� et de l'accessibilit� � Internet.

En savoir plus: Facemesh

Le package Facemesh ne n�cessite qu'une seule entr�e de cam�ra (aucun capteur de profondeur requis) pour d�duire approximativement la g�om�trie faciale 3D � partir d'images ou de flux vid�o. La forme g�om�trique peut localiser les yeux, le nez et les l�vres du visage gr�ce � des caract�ristiques, y compris des d�tails tels que le contour des l�vres et le contour du visage. Ces informations peuvent �tre utilis�es pour des t�ches en aval, telles que la classification des expressions faciales (mais pas pour l'identification). Pour plus de d�tails sur les performances du mod�le dans diff�rents ensembles de donn�es, veuillez consulter notre Carte mod�le . Ce forfait est �galement disponible MediaPipe �obtenir.

Performance

Facemesh est un ensemble l�ger qui n'occupe que 3 Mo d'espace, ce qui le rend id�al pour le raisonnement en temps r�el sur divers appareils mobiles. Lors des tests, veuillez noter que TensorFlow.js fournira �galement plusieurs backends diff�rents parmi lesquels vous pourrez choisir, y compris WebGL et XNNPACK �WebAssembly (WASM) pour les appareils dot�s de GPU bas de gamme. Le tableau suivant montre les performances du package sur plusieurs appareils diff�rents et le backend TensorFlow.js:

installation

Il existe deux fa�ons d'installer le package Facemesh:

1. Via NPM:

importer * en tant que facemesh � partir de '@ tensorflow-models / facemesh;

2. Via la balise script:

< script src = "https://cdn.jsdelivr.net/npm/@tensorflow/tfjs-core" > < / script > < script src = "https://cdn.jsdelivr.net/npm/@tensorflow/tfjs-converter" > < / script > < script src = "https://cdn.jsdelivr.net/npm/@tensorflow-models/facemesh" > < / script > `` ''

usage

Apr�s avoir install� le package, il vous suffit de charger le mod�le et de passer l'image pour commencer � d�tecter les traits du visage:

// Charger les ressources du mod�le de faci�s MediaPipe. mod�le const = attendre facemesh.load (); // Passer un flux vid�o au mod�le pour obtenir // un tableau de visages d�tect�s � partir du graphique MediaPipe. const video = document.querySelector ("video"); const faces = attendent model.estimateFaces (vid�o); // Chaque objet face contient une propri�t� `scaledMesh`, // qui est un tableau de 468 points de rep�re. faces.forEach (face = > �console.log (face.scaledMesh));

Vous pouvez saisir des vid�os, des images statiques pour estimer les faces, m�me pour le pipeline node.js ImageData �interface. Facemesh renvoie ensuite un tableau d'objets pr�dits pour chaque entr�e d'informations pertinentes sur le visage (par exemple, le score de confiance et la position de 468 points caract�ristiques sur le visage). Voici des exemples d'objets de pr�diction:

{ faceInViewConfidence: 1, boundingBox: { en haut � gauche:, // en bas � droite:, }, maillage: , scaledMesh: , annotations: { silhouette: , ... } }

Veuillez consulter notre Doc Pour en savoir plus sur l'API.

Compr�hension approfondie: Handpose

Le package Handpose est utilis� pour d�tecter la main dans l'image d'entr�e ou le flux vid�o et revenir pour localiser 21 points de caract�ristique 3D de chaque main. Ces points caract�ristiques comprennent la position de chaque articulation des doigts et de la paume. En ao�t 2019, nous sommes pass�s MediaPipe �Publiez le mod�le - vous pouvez trouver plus d'informations sur l'architecture du mod�le dans les articles publi�s avec le mod�le. Pour plus de d�tails sur les performances de Handpose dans diff�rents ensembles de donn�es, veuillez consulter notre Carte mod�le . Ce forfait est �galement disponible MediaPipe �obtenir.

Performance

Handpose est un ensemble relativement l�ger qui occupe environ 12 Mo d'espace et convient au raisonnement en temps r�el. Le tableau suivant montre les performances du progiciel sur diff�rents appareils:

installation

Il existe deux fa�ons d'installer le package Handpose:

1. Installez via NPM:

importer * comme handtrack � partir de '@ tensorflow-models / handpose;

2. Via la balise script:

usage

Apr�s avoir install� le progiciel, il vous suffit de charger le mod�le et de passer l'image pour commencer � suivre les points caract�ristiques de la main:

// Charger le mod�le � main de MediaPipe mod�le const = attendre handpose.load (); // Passer un flux vid�o au mod�le pour obtenir // une pr�diction du graphique MediaPipe. const video = document.querySelector ("video"); const mains = attendre model.estimateHands (vid�o); // Chaque objet main contient une propri�t� `landmarks`, // qui est un tableau de 21 rep�res 3D. hands.forEach (main = > �console.log (hand.landmarks));

Comme facemesh, l'entr�e pour estimer les mains peut �tre vid�o, image fixe ou ImageData interface. Le package renvoie ensuite un tableau d'objets d�crivant la main d'entr�e. Voici des exemples d'objets de pr�diction:

{ handInViewConfidence: 1, boundingBox: { en haut � gauche:, // en bas � droite:, }, rep�res: , annotations: { indexFinger: , ... } }

Veuillez consulter notre Doc Pour en savoir plus sur l'API.

Tourn� vers l'avenir

Nous continuerons d'am�liorer Facemesh et Handpose. Dans un proche avenir, nous ajouterons �galement la prise en charge du suivi de plusieurs mains. Nous avons �galement travaill� � acc�l�rer le mod�le, en particulier sur les appareils mobiles. Au cours des derniers mois de d�veloppement, nous avons vu que Facemesh et Handpose ont consid�rablement am�lior� leur performance, et nous pensons que cette tendance se poursuivra.

L'�quipe MediaPipe d�veloppe une architecture de mod�le plus rationalis�e et l'�quipe TensorFlow.js a travaill� sur des moyens d'acc�l�rer l'inf�rence, comme la fusion d'op�rateurs. L'augmentation de la vitesse d'inf�rence peut � son tour d�verrouiller des mod�les plus grands et plus pr�cis � utiliser dans les pipelines en temps r�el.

Plan de suivi

Essayez notre mod�le ! Pour votre Retour d'information ou opinion , Nous l'appr�cierions!
Lisez ce document de recherche Google: https://arxiv.org/abs/1907.06724 Pour en savoir plus sur Facemesh
Parcourez cette "auto-expression AR en temps r�el gr�ce � l'apprentissage automatique" et annoncez la sortie de facemesh dans le cadre du SDK AR Android
Lisez ce "Suivi des mains c�t� appareil en temps r�el � l'aide de MediaPipe" pour en savoir plus sur l'incorporation de handpose dans MediaPipe

Merci

Nous remercions par la pr�sente l'�quipe MediaPipe d'avoir g�n�reusement partag� avec nous l'impl�mentation native de ces packages. MediaPipe a d�velopp� et form� le mod�le de base et con�u des graphiques de post-traitement pour int�grer tout le contenu.

Si vous souhaitez en savoir plus sur le contenu associ� mentionn� dans cet article, veuillez vous r�f�rer aux documents suivants. Ces documents approfondissent de nombreux sujets mentionn�s dans cet article:

Facemeshhttps: //www.npmjs.com/package/@tensorflow-models/facemesh

Handposehttps: //www.npmjs.com/package/@tensorflow-models/handpose

MediaPipehttps: //mediapipe.dev/

TensorFlow.jshttps: //github.com/tensorflow/tfjs

D�mo Facemeshhttps: //storage.googleapis.com/tfjs-models/demos/facemesh/index.html

Demo Handposehttps: //storage.googleapis.com/tfjs-models/demos/handpose/index.html

MediaPipehttps: //github.com/google/mediapipe/

Suivi du visage MediaPipe https://github.com/google/mediapipe/tree/master/mediapipe/graphs/face_detection

Suivi de la posture de la main MediaPipe https://github.com/google/mediapipe/blob/master/mediapipe/docs/hand_tracking_mobile_gpu.md

Carte mod�le https://drive.google.com/file/d/1VFC_wIpw4O7xBOiTgUldl79d9LA-LsnA/view

XNNPACKhttps: //github.com/google/XNNPACK

ImageDatahttps: //developer.mozilla.org/en-US/docs/Web/API/ImageData

Documentation https://github.com/tensorflow/tfjs-models/tree/master/facemesh

Carte mod�le https://drive.google.com/file/d/1sv4sSb9BSNVZhLzxXJ0jBv9DqD-4jnAz/view

MediaPipehttps: //github.com/google/mediapipe/blob/master/mediapipe/docs/hand_tracking_desktop.md

Documentation https://github.com/tensorflow/tfjs-models/tree/master/handpose

Mod�le https://github.com/tensorflow/tfjs-models

Commentaires https://github.com/tensorflow/tfjs/issues/new

Commentaires https://github.com/tensorflow/tfjs-models/pulls

-Terminer-

Suivez la plateforme publique officielle WeChat de Tsinghua-Qingdao Data Science Research Institute " �IA Data Pie �"Et num�ro de sur" Data Pie THU �"Obtenez plus d'avantages de cours et un contenu de qualit�.

Route de la soie