Technologie AI Revue de presse : L'auteur est titulaire d'un doctorat Dongxuan Yi Université de Technologie de Sydney (Xuanyi Dong), il a accepté les documents de surveillance par inscription selon CVPR 2018: Une Unsupervised approche pour améliorer la précision des détecteurs de Landmark visage interprétation exclusive des articles écrits pour la technologie AI examen.
Supervision par l'enregistrement du cadre général
Supervision par inscription (SBR) est un algorithme d'apprentissage de visage cadre détecteur de point critique peut être utilisé sans surveillance façon à améliorer tout le visage à base d'images détecteur de point critique. SBR utilise le mouvement de l'objet dans la vidéo met en scène pour augmenter la surface relativement lisse d'un détecteur keypoint existant. D'autres points clés de l'algorithme de détection de visage est comparé, SBR ne nécessite pas l'utilisation de toute information d'annotation manuelle supplémentaire peut améliorer les performances du détecteur. La figure est une vue schématique d'un cadre de SBR.
les données de formation SBR utilisées sont annotées des données d'image et des données vidéo sans étiquettes. Pendant la formation, SBR peut être utilisé sans supervision manière à détecteur optimize (réseaux de neurones) pour extraire des informations de la surveillance vidéo. Au cours de la phase de test, comme modèle formé SBR peut être réalisé avec une plus grande précision dans les données d'image ou vidéo, et permettent des résultats de détection plus stables dans la vidéo.
Supervision par l'enregistrement du processus de formation
Le processus de formation se compose de deux fonctions de perte de SBR. Le détecteur est une fonction de perte, l'autre est un enregistrement du temps fonction de perte. Les deux peuvent ajouter des personnes face à détecteur de point critique est plus robuste entre eux. fonction de perte de modèle détecteur est appliqué au résultat de la détection et l'annotation manuelle, optimisés sont telles que les données sur l'étiquette, et les résultats de la détection du modèle le plus près possible annotation manuelle. La synchronisation est optimisée identité de séquence de fonction de perte d'inscription dans plusieurs trames consécutives de résultat de détection keypoint. Plus précisément, deux t-1 et t image d'entrée successive, la même personne par le détecteur de visage point critique peut être obtenue pour le premier résultat de détection t-1 et le résultat de détection de la t-ième trame de la trame, nous allons d'abord T- un résultat de détection de suivi de piste à la t-ième trame par le résultat de l'algorithme de Lucas-Kanade, la perte de fonction de synchronisation de l'enregistrement est de rendre les résultats de la détection et le suivi dans le t-ième trame obtenue obtenue aussi uniforme que possible. Il est à noter, parce que l'algorithme de Lucas-Kanade ne nécessite pas de formation et ont solution sous forme fermée, nous allons algorithme de Lucas-Kanade écrit dans un module de guide de station embarqué dans CNN. Lorsque la formation, la fonction de perte de détection en utilisant l'apparence du visage de l'information par le détecteur de clé annotation manuelle du point d'apprentissage, fonction de perte d'enregistrement de synchronisation en intégrant le module Lucas-Kanade pour assurer la cohérence du calendrier. Gradient de telle sorte que le modèle peut être transmis au résultat de la détection de la détection par le module compatible Lucas-Kanade trames adjacentes.
(Pour différents détecteurs, la fonction de perte de détecteur peut être différent, comme plus classique Hourglass CPM et d'optimiser l'utilisation du détecteur d'erreur quadratique moyenne, mais aussi avec l'utilisation de ces méthodes algorithme d'optimisation de la perte .sbr L2 est une commune, peut agir dans une variété de détecteur de point critique face à améliorer leurs performances.)
Supervision par l'enregistrement est inspirée par ce qui est présenté?
CNN modèle actuellement en formation nécessite beaucoup de données d'annotation. Cependant, a marqué un grand nombre de données doit consommer beaucoup de ressources humaines et annotation manuelle souvent inexactes. Illustré ci-dessous est désigné par 16 points sur les images clés de la position de deux bouches, une couleur représente un point critique, nous donnons les résultats de neuf personnes étiquettes marquées, chaque étiquette se trouve dans l'art des points critiques positionnés variance grande. Ces erreurs ont marqué un grand impact sur les modèles de formation et de test seront. Nous voulions donc pouvoir utiliser des informations qui ne nécessite pas de surveillance d'annotation manuelle du modèle CNN formé? A cet effet, nous vous proposons l'enregistrement de supervision soit, l'utilisation des images vidéo adjacentes à la cohérence des informations de calendrier que la supervision.
Pourquoi l'article a montré une augmentation de la surveillance par l'enregistrement ne fait pas beaucoup?
L'évaluation actuelle des indicateurs clés de la détection des visages des gens sont les deux principaux, NME (Normalisé Erreur moyenne) et l'ASC (aire sous la courbe). Les deux l'évaluation peut être une bonne mesure de l'écart avant les résultats des tests et étiquetés manuellement, mais pas bien reflété la performance du modèle dans la vidéo. Généralement, les gens font face à détecteur de point critique prédit les coordonnées du point clés seront la gigue forte dans la vidéo, mais le résultat de l'utilisation de la formation face à SBR détecteur de point critique est très stable dans la vidéo, il n'y a aucune mise à niveau de ces la façon de mesurer, mais reflète clairement l'effet de SBR de la vidéo de démonstration.
Utilisez les détails de supervision par l'enregistrement doivent faire attention à quoi?
SBR est un noyau de synchronisation de la fonction de perte d'enregistrement, en fonction du module de suivi Lucas-Kanade, le résultat de suivi est bon ou mauvais un impact direct sur l'effet de SBR. Dans le même temps, le seul lorsque les coordonnées initiales suivi du temps plus ou moins précis est logique prédit de coordonnées de détecteur de coordonnées est initialisé module de poursuite de Lucas-Kanade. Notez qu'il utilise deux points, (1) lorsque le détecteur est en images marquées sont initialisés au début de l'utilisation de la formation SBR. (2) Notez que la résolution / taille du visage / état d'occlusion vidéo est sélectionnée pour assurer qu'aucune annotation vidéo module de suivi Lucas-Kanade pour suivre le succès.
Supervision par enregistrement des ressources connexes
PyTorch Mise en uvre: https: //github.com/facebookresearch/supervision-by-registration
Facebook Blog recherche: https: //research.fb.com/publications/supervision-by-registration-an-unsupervised-approach-to-improve-the-precision-of-facial-landmark-detector
Vidéo de démonstration: https://drive.google.com/file/d/19tLhPBb2f8S70jFk_WTUYKaJxVEsQGwX/view
Documents Adresse: http: //openaccess.thecvf.com/content_cvpr_2018/papers/Dong_Supervision-by-Registration_An_Unsupervised_CVPR_2018_paper.pdf
