Parti Hongshe, Hou Jinliang, super Zhang
(École de génie électrique et de l'information, Université du Shaanxi des sciences et de la technologie, Xi'an 710021, Chine)
Afin de rendre l'enfant seul à la maison, la mobilité des personnes âgées et les patients reçoivent de meilleurs soins, robot assistant à domicile conçu sur la base du système Kinect. Le système utilise un serveur unique modèle multi-client, Kinect et les téléphones intelligents pour se connecter au serveur en tant que client. Concevoir la tête de robot assistant pour la webcam, pour la structure de bras de direction, la structure à roues jambe. Nous vous proposons un algorithme de reconnaissance de mouvement Kinect amélioré basé sur le robot de contrôle de mouvement réalisé à l'aide des personnes âgées et les malades pour saisir un objet. La conception du téléphone APP, hors de la salle familiale peut contrôler à distance la situation, faire des appels vidéo et la maison pour les personnes âgées et les malades.
Kinect; robot; algorithme de reconnaissance de mouvement; l'APP
CLC: TP242.6
Code de document: A
DOI: 10,16157 / j.issn.0258-7998.2017.03.017
format de citation chinois: Parti Hongshe, Hou Jinliang, la conception Zhang Chao et la mise en uvre du système de robot assistant à domicile basé sur Kinect Technologie électronique, 2017,43 (3): 70-72,76.
Anglais format de citation: Dang Hongshe, Hou Jinliang, Zhang Chao. La conception et la mise en uvre du système de robot assistant à domicile basé sur Kinect .Application Technique électronique, 2017,43 (3): 70-72,76.
0 introduction
Vieillissement de la société avant l'arrivée des « parents esseulés » augmente, de plus en plus de personnes âgées « pour prendre soin d'absence. » Leurs enfants au travail, ne peuvent pas accompagner leurs parents, certains des faibles, la vie ne peut pas prendre soin des personnes âgées ne peuvent pas être bien pris en charge. Si certains des accidents sont survenus lorsque le vieil homme seul à la maison, en raison de l'incapacité d'envoyer rapidement un signal de détresse, et ne peut donc pas obtenir réparation pourrait entraîner des conséquences graves. une maladie ou d'un handicap occupé famille résultant de la mobilité réduite, les personnes vivant, ne pas ramasser la coupe, les médicaments seuls. Les parents vont les enfants à rester seuls à la maison, les enfants sont amusants méchant ira au balcon et d'autres zones dangereuses, parce qu'il n'y avait pas de surveillance en temps réel conduit à l'accident. les jeunes modernes à la pression de travail et le stress de la vie a augmenté, les travailleurs courent toute la journée pour le travail, négligent souvent les tâches familiales, oublier éteindre les lumières, éteignez la climatisation, la maison d'un cas de fuite de gaz dangereux, des tuyaux qui fuient, etc., ce qui entraîne un échec à traiter accidents, les voleurs sont entrés dans la maison, il ne peut pas d'alarme en temps opportun causé des objets de valeur volés.
Pour résoudre le problème, la conception d'un système de robot assistant à domicile basé sur Kinect. robot mobile peut être contrôlé par Kinect somatosensoriel à l'endroit désigné et saisir un objet, peut également être robot télécommandé téléphone mobile APP, surveillance en temps réel des conditions intérieures.
1 conception matérielle du système
Le système utilise un modèle multi-client unique serveur Java, Kinect et les téléphones intelligents ont été utilisés en tant que clients de se connecter à un serveur fonctionnant sur un PC . connexion en temps réel à un ordinateur via USB Kinect, la communication série en utilisant les données recueillies sur le serveur. téléphone intelligent connecté via le serveur WiFi, le téléphone envoie un signal de commande au serveur APP. Envoyé par le serveur au client dans l'acquisition de données en temps réel, la résolution et envoie des signaux de commande au robot. configuration globale du système représenté sur la figure 1.
matériel de robot représenté sur la Fig. tête de robot pour la caméra IP de webcam, les principales caractéristiques sont les suivantes: la surveillance vidéo à distance, les appels vidéo à distance, alarme intelligente. Une structure de bras de robot d'asservissement numérique, un total de huit degrés de liberté, à l'extrémité de la structure de manipulateur de mâchoire. bras manipulateurs peuvent simuler des mouvements humains, il peut être par les mors saisissent l'objet. La structure de la jambe de robot à roues pour le rendre plus efficace dans la salle, la flexibilité de se déplacer.
Les puces de contrôleur de robot à l'aide de tarte aux framboises, tarte aux framboises (Raspberry Pi) est un ordinateur de format carte de carte de crédit. Elle est équipée d'une architecture de processeur ARM quatre-core 1,24 GHz Cortex-A53, la carte SD en tant que support de stockage, autour de la carte mère comporte quatre ports USB et une interface de réseau , à l'aide d'une interface USB peut être directement connecté à l'Arduino. Raspberry Pi intégré dans le module WiFi sans fil pour la communication sans fil avec le serveur. Raspberry Pi limitée PWM capacité de sortie, co-produit Arduino à l'aide de manipulateur de commande à deux PWM 88 servos . Arduino est un moyen pratique et flexible, facile à utiliser la plate-forme électronique open-source de prototypage, il est équipé d'un processeur Atmel ATmega328 avec 14 entrées numériques et de sortie. 6 peut simultanément générer un signal PWM Arduino, et le développement de logiciels Arduino protocoles de communication standard de série, peut communiquer directement avec tarte framboise. Raspberry Pi Arduino connecté via un port USB, une communication série par chacun des signaux de commande pour le servo Arduino. La rotation du servo signal PWM numérique, un contrôle précis de 0 ° à 180 °. En outre, le robot est équipé de la fumée et des capteurs de température et d'humidité, la surveillance en temps réel de l'environnement de la maison, alarme incendie automatique ou fuite de gaz.
Kinect via USB connecté au serveur, la collecte complète de données de squelette humain. En utilisant Kinect pour Windows, qui fonctionne par une caméra RVB visible et une caméra infrarouge 2 sur le capteur, le capteur peut collecter des images en couleur et des images de profondeur 3D . Lors de l'acquisition d'image, les informations de rétroaction de Kinect par un bitmap laser infrarouge de la caméra infrarouge 2, l'opérateur du X, Y, Z les coordonnées de balayage et de positionnement 3D. En outre, l'image RVB-niveau VGA capturée par la caméra de la lumière visible , peut être le caractère d'identification. les données Kinect à un PC, une bibliothèque Kinect sur une acquisition de données PC pour trois transmission de données différentes des capteurs sont transmis par série câble USB, les images couleur et fusion d'images de profondeur 3D pour devenir un flux de données, et enfin le flux de données sortie . La conception de coordonnées en trois dimensions des 20 points clés dans le flux de données, l'identification du mouvement humain.
2 conception du logiciel système
2.1 algorithme de reconnaissance de mouvement Kinect
Et algorithme de suivi basé sur la fonction profil correspondant cible, par exemple, le document algorithme de reconnaissance de mouvement humain, bien que la précision est bonne, mais les algorithmes sont une quantité trop complexe, trop grande de l'opération de mise en correspondance de modèle, le dispositif nécessite un grand nombre de traitement parallèle, relativement élevé processeur. prédiction de filtrage algorithme de suivi basé, par exemple, dans le document proposé algorithme de filtrage de Kalman pour identifier l'action humaine, tout en éliminant la gigue de données, mais la faible robustesse de l'algorithme, à la lumière, le changement de fond trop sensible. Cet article présente une amélioration de l'algorithme de reconnaissance de mouvement Kinect, les points communs sur le corps humain, le bas du corps à traiter, à la fois pour assurer le contrôle en temps réel du bras du robot, et assure la précision du contrôle des jambes du robot.
2.1.1 coordonner l'acquisition
Kinect est Microsoft en 2011 a lancé un périphérique somatosensoriel, principalement par l'émetteur infrarouge, une caméra RVB, les composants de l'appareil de profondeur infrarouge. Il a un corps en temps réel le suivi du squelette, la capture de mouvement, et dispose d'une entrée microphone, et reconnaît une gamme de l'action humaine . Cet article algorithme de suivi du squelette utilise Kinect pour obtenir des coordonnées tridimensionnelles des 20 points clés de l'opérateur, et peut effectuer un suivi en temps réel de l'emplacement de ces points. La figure 3 est une vue schématique du corps clé.
Étant donné que la coordination de l'accès direct aux coordonnées de l'image de la profondeur, de sorte qu'il est converti en coordonnées réelles. (Ximage, YImage, zimage) à (XWorld, yworld, zworld) transformation formule :
2.1.2 Fonction Extraction
Dans le cas de Kinect ne reconnaît pas l'étalonnage de l'action humaine, et l'endroit où l'utilisateur peut à tout moment modifier, de sorte que l'algorithme est très élevé exigences de robustesse. algorithme d'extraction de caractéristiques décrite ici est la position relative des coordonnées de points clés du squelette, à savoir, les coordonnées de la clé extraite à la caractéristique d'angle de vecteur. images par seconde Kinect pour obtenir 30 , à savoir les coordonnées des points clés de rafraîchissement 30 fois par seconde, associée à la secousse du corps humain, collectées les coordonnées du point clés fluctuent. Utilisation de la méthode de filtrage récursif moyenne pondérée des coordonnées de filtrage. Les N valeurs d'échantillonnage consécutif en tant que file d'attente, la file d'attente de longueur N est fixé, à chaque fois que de nouvelles données sont échantillonnées dans la queue, et une donnée mis au rebut (principe FIFO), la tête de la file d'attente d'origine. Pour des moments différents et en utilisant des poids différents, les derniers N données arithmétiquement moyenne de file d'attente du fonctionnement, un nouveau résultat de filtrage peut être obtenu. La formule est la suivante:
angle ij est les caractéristiques d'angle du coude humain actuel. Ainsi, on peut obtenir le corps humain dans laquelle tous les joints d'angle. extraction Angle de caractéristique est une relativement bonne robustesse et, uniquement sur la position relative des points clés, et l'arrière-plan la lumière, et la position de l'opérateur sont indépendants de l'opérateur.
2.1.3 fonction de correspondance
bras de robot manipulateur est commandé par le sens du corps de l'opérateur, et l'angle est exactement les caractéristiques extraites angle relatif de chaque point d'articulation, de sorte que la rotation caractéristique de l'angle de sortie peut être commandé directement de l'asservissement. Pour le bas du corps, l'opérateur devra identifier l'opération avec plus de précision par le processus d'appariement d'éléments. Depuis Kinect en utilisant le traitement développé en langage de programmation Java, il calcule le modèle d'action enregistrée en texte TXT. La conception de l'action de la partie inférieure du corps à identifier comprend: une vitesse d'avancement, la vitesse d'avancement seconde, la troisième vitesse de marche avant, marche arrière, l'inversion deuxième vitesse, rapports de marche arrière, arrêter l'ouverture de robot et de fermeture des mâchoires. Dans lequel l'angle des données de gabarits d'os de corps inférieur avec la caractéristique d'angle d'opération est accomplie en comparant le pourcentage de correspondance, de manière à obtenir la reconnaissance de l'action humaine.
2.2 Robot Logiciel de programmation
La partie logicielle des tâches principales du robot: recevoir un signal de commande envoyé à partir du serveur et de contrôle et le signal d'asservissement du moteur. puce de contrôle de robot pour la tarte framboise, système d'exploitation à tarte framboise est open source Linux, en utilisant le langage de programmation Python. Tout d'abord, les framboises de communication sans fil Socket envoyé en tant que client connecté au serveur, le client est activé et connecté à l'adresse IP et le numéro de port du serveur, le serveur reçoit les données. analyser ensuite les données conformément à un protocole de communication, le protocole Enfin servo firmata et des données de commande de moteur à l'Arduino. Arduino Les données reçues, la broche de commande génère un différents cycles de fonctionnement correspondant du signal de PWM et commande la rotation du moteur d'asservissement. valeur de rétroaction réception framboise détecteurs de fumée envoyés et des capteurs de température et d'humidité, et décider de régler la valeur de seuil d'alarme.
Cette conception a été développé en utilisant le téléphone mobile Android APP , peut faire de la maison familiale pour voir en temps réel grâce à un robot, pour découvrir la situation d'urgence familiale. La figure 4 est une interface de téléphone mobile APP, cliquez sur le bouton Se connecter, le téléphone connecte automatiquement au serveur APP. La gauche est l'interface Vidéosurveillance en temps réel, ce qui permet à 360 ° surveillance de rotation, appareil photo, enregistrement vidéo et d'autres fonctions, peuvent également faire des appels vidéo avec les personnes âgées et les malades à la maison grâce à la fonction d'interphone, le droit est l'interface de commande du robot, par l'avant et à l'arrière, les boutons gauche et droite pour contrôler le robot mouvement, réalisant ainsi une surveillance par caméra fixe classique une fonction différente de la vidéosurveillance mobile intérieure.
3 fonctions pour atteindre
Programme de traitement de données de profondeur Kinect recueillies par le fonctionnement de l'algorithme de reconnaissance ci-dessus traite les données, le signal de commande au robot. L'opérateur peut contrôler bras manipulateurs somesthésiques et bien en temps réel, le déplacement du mouvement de retour du robot et-vient peut être contrôlé avant et après la détection de l'élément de jambe, et peut accélérer; degré de jambes peut être utilisé ouverture mécanique contrôlée séparément et de fermeture des mâchoires . Les expériences ont montré que plus la précision de la reconnaissance d'action de l'algorithme, et les changements dans l'arrière-plan lumière, et l'opérateur de la position de l'opérateur a peu d'effet sur l'algorithme. Les résultats des essais sont présentés sur les figures 5 et 6. système somatosensoriel peut être contrôlé pour robots aider les personnes âgées et les malades à des éléments d'appui à domicile.
4 Conclusion
Un système basé sur Kinect robot assistant à domicile, il peut aider à la maison de contrôle objet laissé sans surveillance est saisi par les personnes âgées et le robot somatosensoriel malade. En dehors de la famille par téléphone App pour surveiller à distance la salle de situation et les appels vidéo, les personnes âgées et les meilleurs soins malades. Par des essais expérimentaux, le système fonctionne correctement, il peut atteindre les fonctions ci-dessus.
références
anneau à cheval. Discussion fondée sur la connaissance du langage Java dans le développement Web Technologies de l'information et de la technologie de l'information, 2015,13 (15): 169-171.
Suxiang Lin, Chen Wenyi, basé Yan Sasa Raspberry Pi plateforme ouverte de l'Internet des objets Science et technologie, 2015,28 (9): 35-37.
Cui Yang, Zhang Weihua. Système de contrôle de la maison intelligente à base Arduino Computer Technology et application, 2014,40 (4): 123-125.
Pansare J R, système BANSAL M.Un à reconnaître les gestes de la main en utilisant le modèle dynamique de Markov caché de fenêtres de contrôle des applications .International Journal of Computer Applications, 2013,62 (15): 169-171.
SU C J, CHIANG C Y.Kinect-activé système de rééducation à domicile en utilisant déformation temporelle dynamique et la logique floue .Applied Soft Computing, 2014 (22): 652-666.
FABRIZIO P, SERGIO B.An framework open source pour la pose de la main et la reconnaissance des gestes en utilisant kinect .Visual Computer, 2014 (30): 1107-1122.
Zhuguo Gang, Cao Lin. Reconnaissance de mouvement humain basé sur les informations squelette capteur Kinect Simulation, 2014,31 (12): 329-333.
Wang Mei, Lu Xichang basé sur le service de reconnaissance de l'action humaine de commande de mouvement de bras de robot ordinateur de contrôle industriel, 2015,28 (9): 59-62.
Yin-wei guerre, dans la branche de Chicago. Algorithme de reconnaissance de Gesture en fonction de l'angle mesuré Kinect . Les capteurs et, 2014,33 (7) 129-132.
Han-Hung, Huangya Yun, Liu, et la reconnaissance et l'exécution de suivi basé geste d'air Kinect La technologie de la télévision, 2015,39 (21): 91-94.
Cai Jing, Cheng Lei, Wang Hongxia. Kinect étude approfondie du système de surveillance de la fatigue du conducteur en fonction de Génie informatique et de la Science, 2015,37 (12): 2380-2385.
Xue Liang, Zhangji Fei. Sur la base du système de sécurité à la maison intelligente d'un terminal mobile de l'IOS Computer Technology et Automation, 2016,35 (2): 89-92.
