Ji-won nouveau rapport
Source: MIT CSAIL
Rédacteurs en chef: Wen Fei, Xiao Qin
[New Ji-won EXAMEN chercheurs et informatique Laboratoire d'intelligence artificielle du MIT ont mis au point un système d'estimation de pose humaine basée sur une connexion Wi-Fi et une connexion Wi-Fi avec l'église AI « dans la perspective de mur », à travers le mur peut être estimer avec précision la posture du corps.
estimation de la pose humaine est un problème important dans la recherche de vision informatique dans la vie ont également un large éventail de scénarios d'application, tels que la sécurité, le pilote automatique, la maison intelligente et ainsi de suite. Cependant, dans les applications pratiques, sur la base visuelle ou des estimations basées sur la posture du corps visible a une limitation majeure qui est bloqué par des obstacles - la lumière ne pénètre pas les objets opaques bibliothèques, murs, etc., si le corps est bloqué ne sera pas en mesure d'estimer .
Dans une équipe récente étude, laboratoire MIT Intelligence artificielle (MIT CSAIL) a conçu le système d'estimation de la pose du corps humain basé sur une connexion Wi-Fi, et peut traverser les murs précis estimation de la pose du corps humain, nous avons fait la posture du corps Wi-Fi reconnaissance La plus historique précis . Ce travail a élargi considérablement la portée du système d'estimation de la pose du corps humain, il y a une forte valeur.
documents de recherche connexes ont été reçues CVPR 2018, l'auteur est professeur Dina Katabi et son doctorat Zhaoming Min (premier auteur), le professeur du MIT Antonio Torralba, Mohammad Abu postdoctoral Alsheikh, étudiant au doctorat Li Tianhong, et Zhao Tianyong lignes. Ils présenteront les travaux CVPR 2018.
MIT CSAIL nouvellement développé système d'estimation pose humaine Wi-Fi qui peut passer à travers la perspective de mur. Source: MIT CSAIL
Perspective à travers la paroi, avec une reconnaissance de posture corporelle Wi-Fi
estimation de la pose humaine, est à une image ou une vidéo, la tête de l'homme, les mains, le torse récupéré la position et les articulations des jambes pour faire un squelette (voir ci-dessous) composé de joints.
Source: MIT CSAIL
corps humain WiFi pose système d'estimation du MIT, quand les gens viennent derrière le mur peut extraire des points clés, générer la posture du corps squelette articulations. La rangée supérieure de la figure RGB est le point milieu de confiance figure, la ligne de fond est les articulations du squelette.
Quand un obstacle est présent, le procédé est utilisé pour déduire les derniers, à savoir les algorithmes de conception à supposer que la partie du corps est protégé visible partielle. Cependant, parce que le corps humain est sujette aux erreurs, et l'inférence mouvement constant. De plus, lorsqu'une personne est complètement bloqué, par exemple, est allé derrière un mur, cette méthode ne fonctionnera pas.
l'équipe du MIT CSAIL propose une solution complètement différente. Leur point de départ est simple: Si la lumière visible est bloquée par ces obstacles, puis passer à l'autre signal. signal sans fil, comme le Wi-Fi, sera en mesure de traverser les murs et une connexion Wi-Fi Un autre avantage est que le corps sera reflété, très adapté à ce « à travers le mur » suivi humain.
Cependant, dans le passé, bien que le système Wi-Fi peut trouver la localisation des personnes à travers les murs, ou pour générer une ébauche, le résultat est assez rude, loin de l'estimation de la sophistication de la pose du système visuel humain, il n'y a pas de joints précis du corps humain positionnement.
Pour résoudre le problème de la faible précision du signal sans fil, cette fois, les chercheurs ont utilisé une méthode de « l'enseignement AI ». Ils ont formé un réseau de neurones, de sorte que le réseau de neurones apprentissage du signal radio et une estimation posture du corps.
AI enseignement, excel plutôt que bleu
Cependant, je rencontrais une difficulté ici est comment fournir des échantillons de formation pour le réseau de neurones. système de reconnaissance gestuelle humaine basée sur des images ou des vidéos, des échantillons de formation peut être marquée par la main des hommes. Mais dans la formation du signal sans fil en réseau de neurones, cette méthode ne fonctionnera pas, parce que les gens ne peuvent pas voir les signaux Wi-Fi, le signal sans fil ne peut pas être vu de l'attitude du peuple, mais aucune façon l'église réseau de neurones.
« Notre solution est forme d'apprentissage inter-supervisé . « Le premier auteur du document de recherche, MIT doctorat Zhaoming Min a dit le nouveau Ji-won: » Il y a idée est très simple, qui est, dans les mêmes images de collecte de temps et des signaux radio et utilise le réseau de neurones à base d'images pour former le réseau de neurones à partir des signaux sans fil. "
Les chercheurs ont utilisé une image basée sur le réseau de neurones pour faire le « professeur », un autre réseau de neurones à partir des signaux sans fil à « étudiant ». Regardez l'image du savoir des enseignants qui posture du corps, puis dire aux étudiants, vous devez apprendre à partir du signal radio trouverez également les mêmes résultats. Formé par ces méthodes « étudiant » réseau de neurones, il a la capacité d'utiliser des signaux sans fil pour identifier la posture du corps.
Il est intéressant de noter que le réseau de neurones « étudiant » non seulement apprendre à « enseignants » pour enseigner son contenu, mais aussi J'ai appris « professeur » ne peut pas faire des choses Il peut être décrit comme Excel les prédécesseurs: Bien que le modèle « maître » est aucun obstacle, sur la base du « étudiant » du signal sans fil a également appris à estimer la posture du corps en présence d'obstacles, même à travers la perspective des murs.
Ils ont proposé ce nouveau système, appelé RF-pose, peut résoudre le signal sans fil et extraire la posture du corps humain précis 2D, même s'il y a un mur bloquant la même.
Hit reconnaissance gestuelle humaine Wi-Fi dans l'histoire de la plus haute précision
RF-Pose présente une très excellente performance: une vue en perspective à travers la paroi peut être, pour les scènes faiblement éclairées, même en l'absence d'une obstruction, il est actuellement la meilleure performance et la précision des systèmes basés sur la vision sont tout à fait.
Source: documents de recherche
RF-delà de la meilleure Pose vision actuelle basée sur le système d'estimation de pose humaine: la première ligne est une image RVB, une deuxième ligne RF-pose est le résultat, ce qui est un signal sans fil à partir de seulement appris squelette humain; Ligne le résultat est OpenPose, qui est actuellement le plus performant système d'estimation de pose corps humain à base de vision. Dans l'abri, des scènes faiblement éclairées comme, RF-Pose significativement les performances.
Source: documents de recherche
RF-Pose une structure schématique: composée d'étudiants et d'enseignants deux réseaux de neurones. Au-dessus est le réseau de neurones « des enseignants », superviser et à former, ce qui suit est un réseau de neurones « étudiant », en utilisant uniquement les cartes chaleur RF pour extraire la posture du corps. Pendant l'entraînement, le système utilise l'entrée de synchronisation et un signal de radio visuelle, extraits à partir des informations d'attitude du flux visuel, et utiliser ces informations pour guider le processus de formation. Une fois la formation terminée, il suffit d'utiliser les signaux de réseau sans fil représentent une estimation. En conséquence, le système peut simplement utiliser des signaux radio pour estimer la posture du corps, sans la nécessité d'une surveillance humaine marquée.
En plus de la surveillance en forme de croix, la conception RF-Pose prend également en compte les caractéristiques intrinsèques de ce signal RF, comprenant en faible résolution spatiale, tout en passant à travers la paroi du corps de la réflexion spéculaire de la fréquence RF, et un signal RF est représenté dans le flux vidéo et le suivi les différences de point de vue.
Les chercheurs ont utilisé des données recueillies sur le campus de l'environnement public pour former et test RF-Pose. L'ensemble de données contient des centaines de personnes de différentes activités à l'intérieur: la marche, assis, les escaliers à pied, en attendant l'ascenseur, ouvrez la porte, parler à des amis et ainsi de suite. Ils ont été testés et la formation dans des environnements différents, afin d'assurer que le réseau peut être étendu à la nouvelle scène.
En outre, les résultats montrent également que l'apprentissage à partir du signal RF au squelette humain, il est possible de tenir compte des caractéristiques d'une personne lors du déplacement avec précision. Les chercheurs ont mené une expérience, ils ont formé un classificateur CNN, que cette classification basée sur RF squelette identification d'une personne dans la foule et a trouvé le taux de précision peut atteindre 83%.
Zhaoming Min dit que l'étude a de nombreuses applications. De nombreuses maladies, telles que la maladie de Parkinson, la maladie d'Alzheimer, seront pris en compte dans le fonctionnement quotidien, il peut être estimée à partir de la posture du corps à des signaux sans fil à domicile pour le diagnostic de l'aide et le traitement de ces maladies en observant et en analysant nos actions.
Sécurité dans la zone touchée par les obstacles, souvent besoin de beaucoup d'équipements installés à tous les angles, cette fois-ci grâce à la capacité de mur d'utiliser des dispositifs sans fil sera en mesure de jouer.
Sans pilote peut également être considérée en conjonction avec des signaux visuels et de radio ne perçois. Les signaux sans fil peuvent mieux brouillard et d'autres obstacles pénétrer, peuvent fournir la robustesse dans des conditions climatiques extrêmes et les conditions de lumière. Les signaux sans fil peuvent également avancer pour déterminer si la voiture derrière un obstacle pour les piétons.
Les chercheurs ont déclaré que l'avenir qu'ils envisagent de développer davantage ce système, de la 2D à la 3D, combinant la perception visuelle sans fil et fournissent des informations plus riches.
En savoir plus
1. papier:
2. Site Web du projet:
3. Mingmin Zhao:
4. Dina Katabi:
5. Antonio Torralba:
