Lei Feng réseau AI Yanxishe par: Avec LIDAR, représenté par des capteurs 3D sont souvent utilisés dans la compréhension de la scène de la route d'aujourd'hui. Avec l'aide de GPS et IMU, nous capturons un grand nombre de points d'enregistrement des nuages à la pré-construit carte 3D, puis à travers un complexe, un grand calcul et la méthode d'apprentissage en profondeur gourmande en mémoire pour détecter les obstacles et la segmentation en mouvement. Ces méthodes se sont avérées efficaces, mais pour quelques questions simples comme « une coupe du corps dans mon droit d'entrée? » Ou « quelqu'un sur le trottoir faire? », Mais ces calculs ne sont pas nécessaires.

Par conséquent, l'équipe invitée a proposé une solution de rechange - capteurs « rideau de lumière programmable » (capteur de lumière) rideau, la solution presque ne pas besoin d'ajouter de frais généraux, tout en ayant un rendement énergétique élevé et de flexibilité. Dans cette leçon ouverte, les clients de partager des idées de conception avec des applications pratiques pour ce rideau de lumière.

Partager Président:

Wang, chercheur entreprise snap, Université Carnegie Mellon, Ph.D., est professeur Aswin Sankaranarayanan mentor et professeur Srinivasa Narasimhan, les intérêts de recherche principaux comprennent la vision par ordinateur, la vision 3D, la photographie de calcul et ainsi de suite. Les travaux de recherche ont été publiés dans CVPR, ICCV, ECCV, ACRI et ainsi de suite et a remporté plusieurs possibilités de présentation orale.

Ouvrez l'adresse de lecture de classe:

Partager Sujet: A Novel rideau lumineux applications de capteurs de rideau de lumière en robotique et l'évitement sans pilote de

grandes lignes de l'action:

• Capteur 3D traditionnel.

• Le principe de la barrière immatérielle soulevée.

• la conception et l'optimisation du capteur

• Les résultats expérimentaux montrent

Lei Feng réseau AI Yanxishe au contenu des actions se résument comme suit:

Nous regardons un ascenseur déjà familier dans le rideau de lumière. La porte de l'ascenseur équipé de capteurs sur les deux côtés, tandis que l'émetteur infrarouge, tandis que le récepteur infrarouge. Quand une personne ou d'un objet entre les blocs de porte d'ascenseur du récepteur infrarouge reçoit la lumière infrarouge, l'ascenseur saura immédiatement savoir si fermé. rideau de lumière a de nombreuses applications dans l'industrie. Tels que l'automatisation industrielle, autour de la machine sera équipée de cette sécurité curtain-- lumière lorsque les travailleurs à proximité des sens du capteur, peut notifier la machine.

Ensuite, nous parlons du capteur proposé. Avant l'ascenseur capteur de rideau de lumière peut être considérée comme constituée par une ligne source lumineuse et le capteur de ligne, et la source lumineuse et le capteur sont face à face.

Nous proposons que la source lumineuse du capteur et le capteur du même côté. Light plane et le plan d'imagerie, les deux plans se coupent en une ligne. Lorsque cette ligne est pas un objet, la caméra sans lecture, l'image est noir. Quand un objet, la lecture de la caméra est différente de zéro, le capteur de présence peut être perçue objet immédiatement. En faisant tourner simultanément plan lumineux et le plan d'imagerie, on peut balayer dans un plan quelconque dans l'espace.

En changeant la vitesse de rotation relative du plan de lumière et le plan de formation d'image, on peut aussi balayer une surface cylindrique dans l'espace.

En raison du faible coût de nos capteurs, un véhicule sans pilote robot ou au-dessus de plusieurs de ces capteurs peuvent être montés. Et chaque capteur peut analyser des surfaces différentes pour atteindre des objectifs différents de surveillance. Par exemple, le robot peut être au-dessus de nos capteurs pour surveiller un plan incliné, une surface cylindrique, ou pour voir s'il n'y a pas d'obstacles sur la voie à suivre. Il n'y a pas de véhicules à l'avant de l'écran au-dessus du rideau, on surveille les deux côtés du rideau du véhicule, le rideau route également surveillée.

des véhicules sans pilote sont maintenant sensiblement chargés capteur LIDAR. nuage de points 3D obtenu par LIDAR, puis en traitant le nuage de points de savoir si la voiture devant le véhicule et un piéton. Nous croyons que si tout simplement veulent simplement savoir si la voiture à quelques mètres devant les obstacles, peuvent utiliser nos capteurs pour résoudre, et nos capteurs ne coûtent pas cher, la complexité de calcul est très faible, seulement seuillage sur elle.

Cette animation montre l'utilisation de notre capteur d'une scène. Un équipé de plusieurs capteurs sur la voiture. Il y a un écran devant le rideau a été sur la route il n'y a pas d'autre voiture. Lorsque les canaux voiture veulent changer, d'abord ouvrir les côtés du rideau, pour voir s'il y a une autre piste d'essai de voiture. Lorsque la voiture doit tourner, rideau d'attention peut varier de façon dynamique en fonction de la vitesse du véhicule. Lorsque le brouillard est, parce que nous pouvons voir à travers la fumée de la barrière immatérielle, le rideau peut ouvrir la route à ce moment, qui a vu signe de chemin de fer sur le terrain.

Ensuite, regardez notre matériel. Ici, nous montrons le chemin optique du capteur. La gauche est une ligne source de lumière, le côté droit est une caméra linéaire. la partie gauche d'une ligne source lumineuse, un premier spot du laser, et ensuite à travers la lentille de ligne de lentille de collimation en une ligne, puis utiliser un galvanomètre à une dimension pour faire tourner le plan de lumière. La partie droite de la caméra linéaire, le premier capteur de ligne, et une lentille de formation d'image, puis un coup d'oeil à une dimension angle de balayage de galvanomètre.

nous faisons ici show prototype de matériel. laser ligne gauche partie, la partie droite est une caméra de ligne, le milieu et le circuit de commande de puissance, il y a une caméra aide 2d, mais plus facile à calibrer et le résultat de détection d'affichage.

Nous avons pris dans des expériences pratiques pour montrer la forme du rideau lumineux programmable notre capteur de balayage.

Ici, par le capteur de ligne de commande de vitesse de rotation relative et de laser de ligne, le capteur balaie la forme de cosinus de la barrière. Le milieu de la vidéo de la caméra d'aide 2D, la partie bleue de la figure est notre pré-rideau, le vert est le résultat de la détection de la vidéo à droite est la lecture originale de la caméra ligne. Nous pouvons voir que lorsque l'objet ou de la personne apparaît sur une pré-rideau, ils peuvent être facilement détectés.

Ceci est un robot utilisant un arc rideau lumineux pour trouver un chemin viable vers l'avant.

Volume rideau lumineux utilisé ici pour surveiller un espace. Ce rideau de lumière de volume composé de plusieurs lignes discrètes.

Tel est le cas du rideau lumineux au moniteur garage garage.

Il est monté sur un rideau de l'automobile, de surveiller les conditions de route.

Il est rideau incliné pour surveiller un robot.

Ensuite, nous regardons notre capteur de performance dans la forte lumière du soleil. Pour le jeu actif de l'équipement léger, le travail en plein air peut être très difficile. Parce que la lumière du soleil est une source très importante de bruit, le bruit de photons de la lumière solaire intense jeu lumière dispositif optique actif inondé. Ceci est la raison pour laquelle Microsoft Kinect ne fonctionne pas à l'extérieur.

Une méthode efficace est: la lumière active recueillie, puis analysé. Il existe trois dispositifs optiques actifs mécanisme éventuellement, comme Microsoft Kinect premier comme le coup de lumière de sorte espace Fasan Zhao, le second est la lumière sur une ligne, puis un galvanomètre à une dimension pour une dimension de balayage, qui est utilisé dans le capteur de notre programme, le troisième est de collecter toute la lumière à un point, puis un galvanomètre à balayage en deux dimensions. A partir du signal de point de vue du bruit, le second mécanisme que le premier mécanisme qui est le mécanisme utilisé par Microsoft Kinect augmenté de N fois, N peut être considéré comme bruit 1000. Le troisième mécanisme augmente le N ^ 2 fois. Du point de vue du taux de trame, le premier est le plus rapide, mais il ne peut pas travailler en plein soleil ci-dessous. Malgré le rapport du troisième bruit est élevé, la super vitesse lente. Le second, qui est le mécanisme que nous utilisons, à la fois pour assurer un grand rapport signal de bruit peut être utilisé au soleil, mais aussi une vitesse de défilement plus rapide.

On voit ici un rideau de trottoir. Quand un chemin de promenade piétonne du bord de la route, nos capteurs détectent facilement cela.

Ici, nous utilisons la barrière immatérielle de volume pour surveiller le trottoir.

En plein soleil, nos capteurs peuvent encore voir l'extérieur du tableau blanc 25m, 35m en dehors du tableau est à peine visible.

Pour la réflexion de l'objet général, nous pouvons voir les capteurs 13m loin. nous synthétisons ici une carte de profondeur en balayant 40 Ge rideaux plans. Il convient de noter que nous ne faisons pas en général le capteur de profondeur du capteur, mais seulement en tant que capteur de profondeur de la moitié, l'espace de surveillance est juste une profondeur prédéfinie, il est plus exact de parler, il est un capteur de proximité.

Ensuite, nous regardons nos capteurs dans les médias de diffusion, tels que la performance de la fumée.

Dans la fumée, si l'imagerie conventionnelle qui a une source lumineuse et une caméra 2D. Chaque pixel de la caméra, en plus de recevoir la lumière réfléchie par l'objet, reçoit également la lumière diffusée dans les médias de fumée. La diffusion de la diffusion de la lumière dans le temps, il sont dispersés à plusieurs reprises.

Dans notre imagerie rideau de lumière, lignes laser nous éclatent, la caméra linéaire reçoit, pour chaque pixel sur la ligne de l'appareil, sauf qu'il reçoit la lumière réfléchie par l'objet, les médias reçoivent également la lumière diffusée de la fumée, mais dans le milieu la lumière diffusée est diffusée une seule fois pas venu, qui est, dans le chemin optique a été isolé sur. Par rapport à l'imagerie conventionnelle, imagerie isolat notre perte une seule fois dispersés diffusion de la lumière, mais seulement une intensité lumineuse dispersée de l'intensité de la diffusion multiple de la lumière diffusée que beaucoup de fois. Ainsi, nos capteurs dans un contraste d'une image est beaucoup plus élevé que l'imagerie conventionnelle.

Ceci est notre performance dans le détecteur de fumée. Au milieu d'une caméra vidéo ordinaires obtiennent droit est nos capteurs reçoivent. Quand il y a de la fumée, à travers nos capteurs, nous pouvons encore voir les signes, mais une caméra ordinaire verrait.

Ensuite, nous allons discuter de la question à l'épaisseur du rideau de lumière.

Comme il est la taille des pixels de la caméra, typiquement quelques micromètres, et aussi une épaisseur de ligne laser, ont généralement plusieurs micromètres à plusieurs dizaines de micromètres, résultat Triangulation est pas un point, mais plutôt une quadrangulaire. Nous avons appelé cette incertitude de triangulation de profondeur quadrangulaire. En raison de la présence de l'incertitude Triangulation, nous rideau 3,8 mètres plan initialement fixé, dans une certaine épaisseur du rideau. Donc, face à cette scène des escaliers, il y a trois escaliers est détectée.

Dans certains cas, le rideau un peu épais certains avantages, comme peut empêcher non détecté. Mais dans certains cas, nous voulons aussi rideau le plus mince mieux, par exemple, nous voulons seulement détecter laissé la voiture il n'y a pas d'objet à 2 mètres, plus de deux mètres de nous ne se soucient pas si le rideau est épais, il est probable qu'il y aura des fausses alarmes.

D'après des calculs théoriques, l'incertitude de triangulation avec la profondeur est proportionnelle au carré de. Cela montre que le rideau sera de plus en plus épais que la profondeur augmente. Comment réduire l'épaisseur du rideau il? Nous proposons d'utiliser le capteur de TOF de ligne du côté de la caméra. D'après les calculs théoriques, nous savons que TOF vague continue d'incertitude que la fréquence de modulation, plus la fréquence, plus l'incertitude, il est fonction de la profondeur.

Par conséquent, lorsque l'extrémité de la caméra TOF et prendre la triangulation minimale TOF deux incertitude, de sorte que l'incertitude, à savoir l'épaisseur, peuvent avoir été relativement faible.

Pour cet escalier scénario, quand seulement Triangulation, trois escaliers est détectée. Lorsqu'il est combiné avec la phase d'information TOF, puis un épais rideau devient très mince, alors qu'un brillant escalier.

Pour TOF d'incertitude est relativement faible, la fréquence d'utilisation de TOF ont relativement élevé, mais lorsqu'ils sont confrontés à de grandes scènes, les problèmes de TOF d'emballage de phase apparaît. Par coïncidence, Triangulation et la phase peuvent être combinés, la triangulation peut aider à faire la phase Déballer. En effet, bien que la triangulation de l'incertitude est relativement élevé, mais aussi de fournir des informations de profondeur. Ainsi, vous pouvez toujours obtenir un rideau très mince.

Ensuite, parler de l'imagerie profondeur adaptative. Les systèmes optiques maîtres sont souvent confrontés au problème de la chute de la lumière. la lumière active émise par le système d'éclairage diminuera progressivement avec la profondeur, ce qui rend l'image d'un objet proche facilement saturé, et les objets lointains sera très sombre parce que la lumière est trop faible, ce qui indétectable.

Mais pour notre système, parce que nous balayons la surface par une ligne composée de, pour chaque ligne, son temps d'exposition peut varier, le degré de liberté que nous avons ce dispositif, nous pouvons fermer la courte ligne d'exposition, tandis que la ligne à distance longue exposition. , L'énergie totale émise est donc la même, mais vous pouvez voir plus loin.

Nous pouvons également contrôler l'intensité du laser de chaque ligne. L'effet est le même, ce qui est la même que la consommation totale d'énergie, mais peut voir plus loin, comme le dos du cadre de la voiture ici pour voir plus clairement.

Pour résumer, pourquoi nous rideau de lumière a beaucoup de bons est, parce que nous présupposer une profondeur d'intérêt, de sorte que l'ensemble du dispositif peut faire l'optimisation appropriée.

Nos capteurs sont à faible coût, consomme très peu d'énergie, les besoins de calcul très peu;

Il peut fonctionner dans la lumière du soleil flamboyant, peut aussi pénétrer la fumée;

Sa forme et l'épaisseur peuvent être changées très flexible;

Son taux de trame est également élevé.

Enfin répéter ce que beaucoup de gens sont préoccupés par les questions de sécurité laser. distance de sécurité laser nécessite beaucoup de calculs rigoureux. D'après les calculs, notre laser prototype pour une utilisation à l'extérieur de 0,72 M est absolument sans danger. Nous utilisons le laser dans le prototype est visible laser rouge, laser infrarouge doit être utilisé dans l'utilisation réelle, mais aussi plus sûr que le laser infrarouge laser rouge.

Je partage aujourd'hui ici, merci!

Ce sont les clients actuels partagent tous. Plus ouvert go vidéo de classe à Lei Feng réseau AI Yanxishe communautaire ( à regarder. Mise au point sur le numéro public micro-canal: AI Yanxishe (okweiwu), vous pouvez obtenir le dernier avis de temps en classe ouverte en direct.