[Test] Ji-won est CVPR action un an articles reçus aujourd'hui. L'algorithme proposé peut gérer efficacement une méga grande scène de points nuage de points 3D, tandis que, faible encombrement informatiquement efficace, peut traiter directement avec des nuages de points massifs, pas de pré / post traitement complexe, que SPG base graphique près de 200 fois plus rapide, ce qui sur le pilote automatique et AR est critique.

Université d'Oxford et l'Université nationale de la défense article de coopération technologique intitulé « Randla-Net: efficace sémantique Segmentation des nuages de points de grande envergure » des documents de CVPR ont reçu cette année, et aujourd'hui nous interprétons cet article.

Adresse Papers: https: //arxiv.org/pdf/1911.11236.pdf

Code de tensorflow: https: //github.com/QingyongHu/RandLA-Net

Ce document présente une scène légère pour une grande échelle nuage de points en trois dimensions, nuage de points efficace nouvel algorithme de segmentation sémantique Randla-Net. Par une analyse complète de la stratégie d'échantillonnage existante, cet échantillonnage aléatoire simple et efficace réduit considérablement la quantité de calcul et de la consommation de mémoire, et l'introduction d'un nouveau module d'agrégation point caractéristique locale des augmentations de durée effective pour chaque champ récepteur conserver la plupart des informations efficaces.

Randla-Net peut masse de nuages de points de processus directement, avant / après traitement pas compliqué, par rapport à la méthode figure SPG près de 200 fois plus rapide, aide à résoudre les problèmes dans le domaine du pilote automatique AR noyau et similaires.

Une méga gestion efficace des gros points nuage de points 3D de la scène, plus rapide qu'une méthode basée sur la figure près de 200 fois SPG

introduction

point 3D efficace et précis nuage grande scène segmentation sémantique est la compréhension de la scène en trois dimensions actuelle, l'un des principaux problèmes environnementaux IntelliSense. Cependant, étant donné que le nuage de points initial est généralement non régularisée (irrégulier) d'un accès direct au capteur de profondeur, non structurée (unstructure) et le trouble (sans ordre), le réseau neuronal convolutif est largement utilisé et ne peut être appliquée directement à de telles données.

motivation

Depuis PointNet 2017 Nian peut être traitée directement sur les nuages de points irréguliers ont été proposés, de plus en plus de chercheurs ont commencé à essayer de traiter directement avec la structure du réseau peut être fait nuage de points irrégulier, il y a eu beaucoup de ces PointNet ++, PointCNN, PointConv etc. une série de travaux représentatifs. Bien que ces méthodes sur la reconnaissance d'objets en trois dimensions et des tâches de segmentation sémantiques ont obtenu de bons résultats, mais aussi la plupart des méthodes sont encore limitées à un très petit (à petite échelle) nuage de points (par exemple, PointNet, PointNet ++, Pointconv etc. dans le procédé de traitement d'une série d'ensembles de données besoin S3DIS premier nuage de points en points individuels nuages 1m x 1m, puis les entrées de l'échantillon de 4096 points du réseau à chacun des nuages de points). Ce prétraitement Bien que pratique pour la formation ultérieure du réseau et des tests, mais il y a aussi des problèmes. Par exemple, toute la scène est coupée en très petits points si les nuages vont perdre toute la géométrie? Avec un petit nuage de points réseau formé est capable d'apprendre efficacement à la géométrie de l'espace en elle?

Les résultats de la figure. 1. segmentation de PointNet de la zone 5

Avec cette question, nous les résultats sur la segmentation PointNet ensemble de données S3DIS zone 5 a été visualisé. Comme le montre la région de surbrillance figure, PointNet identifie par erreur une moitié gauche de la table est une table, et est identifiée comme étant la moitié droite de la chaise. Quelles sont les causes de cette incohérence apparente est le résultat de celui-ci? On peut voir dans ce tableau, lorsque prédécoupée (à gauche) a été coupée en plusieurs petits nuages de points, puis séparément, sans rapport à l'entrée dans le réseau. C'est, au point géométrie des nuages de la cible a été coupé détruit la prémisse, Réseau est difficile à apprendre efficacement la géométrie globale de la table .

Étant donné que la coupe est trop petite causera détruit toute la géométrie, alors je ne peux pas mettre un bloc coupé plus grand? Cela ne veut pas mieux conserver les informations du nuage de point d'origine encore dans une certaine mesure?

Figure 2. Résultats de l'essai comparatif PointNet et PointNet ++ dans le S3DIS domaine5. Les S3DIS de données sont coupées à 1m x 1m x 5m 5m nuages de points, puis entrée au réseau pour la formation et les tests.

À cet égard, nous avons conçu une autre expérience comparative, la taille de la coupure (avec une augmentation correspondante du nombre de points dans chaque bloc de 4096 à 102400) est augmentée à partir de la première 1m 1m 5m 5m × ×, les résultats expérimentaux obtenus dans le dessus de la Fig. comme le montre, vous pouvez voir:

• résultat miou de PointNet il y a eu une baisse significative. Notre analyse principalement en raison de la trame de PointNet, chaque point caractéristique est extrait par la fonction MLP partagée par point et de la composition globale d'extraction de caractéristique globale max-mise en commun. Lorsque l'échelle croissante nuage de points d'entrée, par une simple fonction max mise en commun globale globale peut être obtenue rôle devient plus petit, ce qui conduit à l'augmentation des performances de segmentation que la taille du bloc diminue de façon continue
• PointNet ++ performances segmentation augmente avec la block_size une certaine augmentation, ce qui est conforme à nos attentes. Cependant, nous pouvons encore voir de la courbe de temps à droite, l'inférence de réseau de temps augmente également avec block_size a connu une croissance remarquable, dès le début de la nécessité accrue de près 100s / millions un 3s / un million de points le point.

Les résultats ci-dessus montrent que: résoudre peut aussi block_size simplement ne pas augmenter efficacement le problème. Grâce à une analyse plus approfondie, nous avons constaté que La plupart des méthodes actuelles empêchent la cause directe d'un grand nuage de points de traitement scène principalement dans les trois points suivants:

• réseau la stratégie d'échantillonnage vers le bas . La plupart de la stratégie actuelle algorithme de sous-échantillonnage pour calculer le coût de l'une empreinte mémoire relativement coûteux ou grande. Par exemple, l'échantillonnage du point le plus éloigné (échantillonnage le plus éloigné point) est largement utilisé dans plus de 200 secondes, il faut du temps pour le nuage d'un million de points de points à 10% sous-échantillonnage de la taille d'origine.
• De nombreuses méthodes de Caractéristiques d'un module d'apprentissage Cela dépend du calcul ou coûteuse la construction graphique de kernelisation.
• La plupart de la méthode classique lors de l'extraction caractéristique champ réceptif (Champs Réceptif) est limité, il est difficile d'apprendre efficacement et avec précision le nuage de points de scène à grande information géométries complexes

Bien sûr, il y a quelques travaux récents ont commencé à essayer de traiter directement avec les nuages de points massif. Par exemple, la figure SPG ultra (super graphique) et le point super (de superpoints) pour caractériser un nuage de points de grande scène, RPCA PCT et similaires et combine les avantages du point de voxel du nuage de points à traiter massif. Bien que ces méthodes ont atteint un bon résultat de segmentation, mais la plupart des méthodes de quantité pré-calculée est trop importante ou l'utilisation de mémoire, difficiles à déployer dans des applications pratiques.

Objectif de cet article est une conception légère, efficace informatiquement (informatiquement efficace), moins empreinte mémoire de la structure réseau (économe en mémoire), et est capable de gérer un grand nuage de points 3D directement, sans la nécessité d'une telle voxelisation / partition de bloc / construction du graphe et d'autres pré / post opération de traitement . Cependant, cette tâche est très difficile, car une telle structure de réseau nécessite:

• Une mémoire d'échantillonnage à l'efficacité élevée et de calcul, afin de réaliser le sous-échantillonnage à grande échelle en continu le point de trouble, en sorte que le réseau peut adapter aux limites de la mémoire de GPU courant et la puissance de calcul;
• Un module d'apprentissage caractéristique locale efficace pour apprendre et perçu par le champ récepteur de complexité croissante progressivement pour chaque point de manière la structure de l'espace géométrique.

Sur la base de cet objectif, nous proposons une architecture de réseau (Randla-Net) Un échantillon réduit et en fonction des caractéristiques locales simples polymérisées aléatoire efficace. La méthode non seulement dans un tel Semantic3D SemanticKITTI et d'autres grandes division nuage de points de scène très bons résultats sur un ensemble de données, et a un rendement très élevé (selon la méthode de la figure SPG près de 200 fois plus rapide que par exemple). La principale contribution de cet article comprend les trois points suivants:

• Nous analysons et comparer la méthode existante sous-échantillonnage que l'échantillonnage aléatoire baisse est une méthode appropriée pour une étude efficace à grande échelle du nuage de points
• Nous vous proposons une polymérisation du module de fonction locale efficace, en augmentant progressivement les champs récepteurs de chaque point de mieux apprendre et à retenir un nuage de points grande scène géométries complexes
• Randla-Net sur une pluralité de grands ensembles de données de nuages de points de la scène montrent des très bons résultats et une très excellente efficacité de calcul et de l'efficacité mémoire

Et un échantillon aléatoire module de fonction locale composition polymérisable, la formation de Randla-Net

vue d'ensemble

Comme on le voit ci-dessous, pour une zone de couverture de plusieurs centaines de mètres, un grand ordre de un million à partir du nuage de points de la scène de points, si la profondeur souhaitée est entrée directement dans le réseau de neurones pour le traitement, le nuage de points en continu et efficacement ont été progressivement d'échantillonnage, la géométrie tout en conservant des informations utiles que possible est très nécessaire.

3. Une structure de réseau sensiblement Organigramme de la figure.

La quête d'échantillonnage efficace

Afin de trouver une méthode efficace pour le sous-échantillonnage. Nous étudions d'abord la méthode existante sous-échantillonnage: peut être divisé en Heuristique d'échantillonnage et d'échantillonnage basé sur l'apprentissage de deux catégories:

(1) Heuristic échantillonnage

• Le point le plus éloigné d'échantillonnage (FPS): Comme son nom l'indique, est que, chaque échantillon de temps sont choisies dans le k-1 échantillonné avant le point point le plus éloigné. FPS est possible de mieux assurer le point échantillonné a une bonne couverture, qui est largement utilisé dans le domaine du nuage de points est divisé (par exemple, PointNet ++, PointCNN, PointConv, POINTWEB). Cependant, la complexité de calcul du SPF est le calcul des points de nuages de points d'entrée ont été au carré de corrélation. Cela montre que les FPS peuvent ne pas convenir à un traitement de grands nuages de points. Par exemple, lorsque le point d'entrée ayant un méga grand nuage de points de la scène, qui est utilisé FPS sous-échantillonné à 10% de la taille originale de la prendre jusqu'à 200 secondes.
• Importance inverse de la densité d'échantillonnage (IDIS): Ceci est relativement facile à comprendre, en quelques mots est de re-trier selon la densité de chaque point, le point de conserver les zones de densité relativement faible autant que possible. IDIS complexité de calcul est approximativement (selon la façon de calculer la densité à chaque point). Par rapport à la FPS, IDIS est nettement plus efficace, mais aussi plus sensible au bruit IDIS (valeurs aberrantes).
• Échantillonnage aléatoire (RS): sous-échantillonnage uniformément sélection aléatoire de K sur N points des points d'entrée, chaque point ayant la même probabilité d'être choisi. RS est la complexité de calcul, la quantité totale de calcul est indépendant des points de trouble de point d'entrée, seul le point K lié sous-échantillonnage, à savoir la complexité de temps constant. Ce qui a une efficacité très élevée et une bonne évolutivité. Par rapport aux FPS et IDIS, RS seulement 0.004s pour terminer la même tâche FPS sous-échantillonnage.

(2) sur la base d'apprentissage-échantillonnage

• L'échantillonnage à base de générateur (GS): sous-échantillonner la différence des procédés classiques, de tels procédés est généré par l'apprentissage d'un sous-ensemble caractérisé nuage de points initial approximatif. GS est axée sur les tâches, de sous-échantillonnage procédé apprenable de piloté par les données, mais le problème est que le sous-ensemble de la phase d'inférence nécessite la correspondance générée le nuage de points originale, cette étape dépend de la mise en correspondance FPS, en introduit à son tour plus supplémentaires calcul. GS utilisera une méga grande chute de point de nuage de points de la scène à 10% de la taille de l'échantillon initial requis jusqu'à 1200 secondes.
• Relaxation continue sur la base d'échantillonnage (CRS): CRS en utilisant l'astuce de reparamétrage sous-échantillonnées à l'opération de détente non différentiables (Relax) au domaine continu de sorte que la fin de la formation devient possible. CRS après chaque point d'échantillonnage est obtenu par échantillonnage d'une pondération effectivement et le nuage ensemble de points (somme pondérée). Plus précisément, pour un grand point de scène d'entrée nuage (taille: N × 3), CRS obtenir une matrice d'échantillonnage (taille: K × N) par l'apprentissage (éventuellement très faible), et enfin en multipliant le point de matrice d'échantillonnage d'entrée nuage à savoir sous-échantillonnage peut être atteint. Cependant, lorsque N est une valeur très élevée (par exemple 10 ^ 6), de cette façon de la matrice d'échantillonnage appris apportera très grande consommation de mémoire. Par exemple, CRS utilisera une de la taille de l'échantillon original chute de point de nuage de points de scène méga grand à 10% requis jusqu'à 300 Go de mémoire GPU.
• Politique Gradient base d'échantillonnage (PGS): PGS opération sous-échantillonnage est représentée comme un processus de décision de Markov, visant à apprendre à abandonner une stratégie d'échantillonnage efficace. Cette méthode séquentielle pour chaque point d'apprendre une probabilité de décider de conserver. Cependant, lorsque l'entrée est grand nuage de points de la scène, le réseau a un grand espace de recherche (espace d'exploration). Par exemple, la réalisation de la méthode d'échantillonnage et la même tâche espace de recherche Oui. Grâce à d'autres expériences, nous avons constaté que PGS seront appliqués à un grand nuage de points, le réseau est très difficile de Converge.

Pour résumer:

Pour un grand nuage de points de la scène, FPS, IDIS et coût de calcul GS sont élevées, les exigences de mémoire GPU CRS sont trop élevés, alors que PGS difficile d'apprendre une stratégie d'échantillonnage efficace (politique d'échantillonnage). En revanche, un échantillonnage aléatoire a deux avantages: 1) l'efficacité de calcul élevée, en raison de la complexité de calcul est une constante, indépendante des points d'entrée 2) moins de surcharge de la mémoire, le processus d'échantillonnage ne nécessitent pas la consommation de mémoire supplémentaire. Par conséquent, pour les grandes scènes de nuages de points que l'entrée, pourquoi ne pas essayer le prochain échantillonnage aléatoire vers le bas?

Cependant, de nouveaux problèmes sont venus à nouveau: sous-échantillonnage nuage point aléatoire conduira inévitablement à des informations utiles est perdue, comment surmonter ce problème?

L'agrégation entité locale

Pour remédier à ce problème, nous proposons une autre caractéristique échantillonnage aléatoire et un module d'agrégation locale complémentaire (agrégation locale fonction). Comme représenté, le module comprend trois sous-modules: 1) le codage spatial local (LocSE), 2) la mise en commun attentif, 3) l'expansion du bloc résiduel (dilatée de bloc résiduel).

4. module d'agrégation de fonction locale figure. Il comprend un codage spatial local (codage spatial local), l'écoute et de mise en commun dilatée résiduel bloc de trois sous-modules.

(1) codage spatial local (codage spatial local)

Ce module est utilisé pour coordonner explicitement l'information du nuage de points en trois dimensions codant entrée. A la différence des coordonnées tridimensionnelles de chaque point directement en tant que caractéristique de passage commun de l'entrée vers le réseau, le module LocSE est destiné à l'information géométrique du nuage de points 3D spatialement explicitement codée, de sorte que la distance entre le réseau et les positions relatives des points respectifs, et informations pour mieux apprendre la géométrie de l'espace. Plus précisément, divisé en les étapes suivantes:

• Tout d'abord, nous utilisons le trouver chaque point le plus proche algorithme de recherche voisin dans l'espace euclidien points récents mois dans le quartier
• Pour les points les plus proches voisins, nous explicitement position relative du point de codage, les coordonnées tridimensionnelles du point central des coordonnées en trois dimensions de points dans le quartier, des distances euclidiennes et connecteur de coordonnées relatif (concaténation) ensemble. Comme suit:
• Enfin, nous signalerons correspondant à des points dans la position de point caractéristique de voisinage par rapport à l'Codé reliés entre eux pour donner un nouveau point caractéristique.

Sur Semantic3D, S3DIS et SemanticKITTI et d'autres ensembles de données expérimentales: un net avantage

expériences

(1) L'efficacité de l'échantillonnage aléatoire

Tout d'abord, nous évaluons la susmentionnée stratégie d'échantillonnage, principalement du temps de calcul GPU et de consommation de mémoire deux aspects à considérer. Plus précisément, nous avons mené l'expérience suivante: suivez le cadre principal PointNet ++, nous continuons à nuage de points-échantillonnage, sous-échantillonnage d'un total de cinq fois, à chaque fois que pour préserver l'échantillonnage nuage de points d'origine de 25% des points. Les résultats présentés ci-dessous, on peut voir:

• Pour des nuages de points à petite échelle à 10 ^ 3, de la méthode d'échantillonnage est non significative du temps de calcul et l'écart de consommation de mémoire est acceptable globale
• Pour nuage de points à grande échelle à 10 ^ 6, le temps de calcul FPS / IDIS / GS ont besoin d'une augmentation significative, alors que CRS prendraient beaucoup de mémoire GPU (ligne brisée sur la figure b).
• En revanche, RS en termes de temps de calcul et la consommation de mémoire ont un avantage significatif, ce qui est idéal pour manipuler de grands nuages de points. Les résultats ont également plus explique pourquoi la plupart des processus de sélection d'algorithmes et d'optimiser le nuage de points sur une petite échelle, principalement parce qu'elles reposent sur la méthode d'échantillonnage coûteux.

7. Le procédé de la figure différents temps d'échantillonnage et la consommation de mémoire. La ligne discontinue représente une valeur estimée produite par la mémoire limitée du GPU

(2) l'efficacité de Randla-Net

Nous avons également l'efficacité Randla-Net massif traitement des nuages de points 3D dans les scénarios réels évalués. Plus précisément, nous choisissons l'ensemble de validation dans le jeu de données SemanticKITTI (ID SEQ 8: Un total de 4071) pour les tests de comparaison. Les principaux indicateurs pour évaluer les trois aspects suivants: le temps total, les paramètres du modèle et le réseau peut gérer un nombre maximum de points. Foire, nous au même point dans chaque trame du nombre (81920) et l'entrée à la ligne de base dans notre Randla-Net. Les résultats sont présentés dans le tableau, on peut voir:

Tableau 1. Différentes méthodes temps total pour traiter une séquence de 8 ensembles de données, les paramètres du modèle, et peut gérer jusqu'à comparer points.

• SPG moins les paramètres du modèle Les, mais est la plus longue. La raison principale est géométriquement fendage (partitionnement géométrique) et le coût de calcul ultra haute figure construction (construction super-graphique) comme étape;
• PointNet ++ PointCNN temps et très long, principalement en raison du temps scène FPS lorsqu'ils traitent avec de grands nuages de points
• PointNet et KPConv ne peut pas gérer un nuage de points à très grande échelle à usage unique, principalement parce qu'il n'y a pas d'opération de sous-échantillonnage (PointNet) ou un modèle plus complexe.
• Merci à la simple et l'échantillonnage aléatoire efficace basé sur les caractéristiques locales du module d'agrégation MLP, un temps minimum Randla-Net (~ 23 / s), et est capable de traiter jusqu'à 10 ^ 6 nombre total de nuage de points.

(3) Résultat de l'évaluation d'ensemble de données commun

30 Semantic3D la masse de nuage de points de la scène extérieure composition, comprenant un véritable espace à trois dimensions 160 × 240 × scène 30 m, la quantité de jusqu'à 4 milliards de points. Où chaque point contient les coordonnées 3D, les informations RVB et l'information d'intensité. Randla-Net uniquement traité avec les coordonnées et les informations de couleur correspondant à trois dimensions. Comme on peut le voir sur la table, notre méthode a obtenu de très bons résultats, par rapport au SPG, KPConv d'autres méthodes sont une amélioration plus évidente.

Tableau 2. Comparaison des différentes méthodes pour les résultats quantitatifs Semantic3D (réduction-8)

données SemanticKITTI ensemble de 21 séquences, la composition de trouble 43552 points. Le point de trouble de chaque trame par les points 10 ^ 5 ~ composition, comprenant un véritable espace à trois dimensions 160 × 160 × scène 20 mètres. Nous classés en fonction de l'agent train validation-test, dans lequel la séquence de 00 à 07 et 09-10 (19130) en tant que l'ensemble d'apprentissage, la séquence 08 (4071) sous la forme d'un ensemble de validation, la séquence 11 à 21 (20351) pour en ligne test. On notera que, l'ensemble de données nuage de points comprend uniquement les coordonnées tridimensionnelles de chaque point, sans une information de couleur correspondante. Les résultats présentés dans le tableau suivant, on peut voir: Randla-Net par rapport aux paramètres du modèle par rapport à la méthode au point (moitié supérieure de la table) est nettement améliorée, et également mieux que la plupart de la méthode de la projection, sur la base de dans DarKNet53Seg et il a un net avantage.

Tableau 3. Différentes méthodes pour la comparaison quantitative de l'ensemble de données de résultat SemanticKITTI

ensemble de données S3DIS se compose de 271 chambres composées de six régions. Chaque nuage de points comprenant un réel espace à trois dimensions 20 x 15 x 5 mètres de la scène intérieure. Résultats de validation croisée aussi 6 fois plus confirmé la validité de notre approche.

Tableau 4. Différentes méthodes de comparaison quantitative de l'ensemble des données de résultat S3DIS

Dans l'étude Ablation, nous avons encore confirmé la contribution de chaque sous-module sur la performance globale. Voir une analyse détaillée du papier et complémentaire.

Tableau 5. Comparaison Ablation résultats de l'étude

Pour résumer, nous vous proposons une scène légère pour une grande échelle nuage de points en trois dimensions, nuage de points efficace algorithme de segmentation sémantique, sur la base des FPS les plus récentes et d'autres coûts de calcul élevé des algorithmes différents de stratégies d'échantillonnage, nous essayons de simple utilisation échantillons aléatoires efficaces pour réduire considérablement la quantité de calcul et de la consommation de mémoire, et l'introduction du point caractéristique locale polymérisable de chaque module augmente le champ récepteur en continu efficace, afin d'assurer l'information la plus efficace ne soit pas perdu à cause de l'échantillonnage aléatoire. Un grand nombre d'expériences sur Semantic3D, S3DIS et SemanticKITTI et d'autres ensembles de données démontrent l'efficacité de notre approche. Ensuite, nous pouvons essayer de travailler étendu à appliquer à grande segmentation et un point de traitement nuage dynamique en temps réel exemple nuage de points en trois dimensions scène.

derniers mots

• Cloud tâches de segmentation sémantique, avec son projet de point de trois dimensions dans le nuage de points à couper des algorithmes très complexes pour améliorer les performances, comme une tentative directe de traiter sur le grand nuage de points de la scène, de sorte que plus significative.
• l'évolutivité du réseau de segmentation du nuage de points 3D est aussi l'un des point d'application pratique plus importante. À savoir, idéalement, il devrait être utilisé pour former une bonne inférence réseau de points de nuages de points d'entrée arbitraire, parce que chaque fois que le nuage de points de points acquis ne sont pas nécessairement les mêmes. Voilà pourquoi Randla-Net n'utilise pas les caractéristiques globales, à savoir faire en sorte que les paramètres ont appris est agnostique au nombre de points.
• La façon de lutter contre une vague de publicité, juste pour entrer dans le champ de trois dimensions camarades de classe de traitement de nuages de points, un article récent d'examen (apprentissage en profondeur pour nuages de points 3D: Une enquête) de référence, contenant un grand nombre de points mainstream classification objet nuage, cible en trois dimensions détection, trois scénarios sont résumés des algorithmes récents de progrès et de segmentation.

Université d'Oxford produit, l'équipe auteur

Co-auteurs incluent propriétaire de doctorat Université d'Oxford Huqing, Bo, Xie Linhai, Wang Zhihua, Stefano Rosa postdoctoral, professeur agrégé, Université nationale de la technique militaire Guo Yulan, et l'Université d'Oxford professeur Niki Trigoni et Andrew Markham.

Huqing attente

Yang Bo

Dans lequel un document pour Huqing propriété recherche est la vision 3D et l'apprentissage de la machine, en se concentrant sur une grande échelle la segmentation du nuage de points 3D et la compréhension, le traitement des nuages de points dynamique et le suivi. Papier pour deux (Auteur correspondant) Bo vise à faire des machines intelligentes pour comprendre et reconstituer la scène complète 3D à partir d'images 2D ou nuage de points 3D. Pour plus d'informations, voir le profil:

https://qingyonghu.github.io

https://yang7879.github.io

référence

 Charles R Qi, Hao Su, Kaichun Mo et Leonidas J Guibas PointNet: .. l'apprentissage en profondeur sur des ensembles de points pour le classement et la segmentation 3D CVPR 2017.

 Charles R Qi, Li Yi, Hao Su, et Leonidas J ++ Guibas PointNet: .. apprentissage caractéristique profonde hiérarchique sur les ensembles de points dans un NeurIPS espace métrique, 2017

 Yangyan Li, Rui Bu, Mingchao Sun, Wei Wu, Xinhan Di, et Baoquan Chen PointCNN :. Convolution sur des points transformés X NeurIPS, 2018 ..

 Wenxuan Wu, Zhongang Qi et Li Fuxin PointConv: .. réseaux profonds sur convolutifs nuages de points 3D CVPR, 2018.

 Fabian Groh, Patrick Wieschollek et Hendrik P. A. Lensch.Flex convolution (millions échelle apprentissage nuage de points au-delà des mondes de grille). ACCV, 2018

 Oren Dovrat, Itai Lang et Shai Avidan. Apprendre à échantillon. CVPR, 2019.

 Itai Lang, Asaf Manor, et Shai Avidan SampleNet :. Différentiable nuage de points d'échantillonnage arXiv prépublication arXiv :. 1912,03663 (2019).

 Abubakar Abid, Muhammad Fatih Balin et James Zou. Autoencoders en béton pour la sélection des caractéristiques différentiables et à la reconstruction. ICML 2019

 Jiancheng Yang, Zhang Qiang, Bingbing Ni, Linguo Li, Liu Jinxian, Mengdie Zhou, et Qi Tian. Nuages de points de modélisation avec soi l'attention et Gumbel sous-ensemble d'échantillonnage. CVPR, 2019.

 . Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel et Yoshua Bengio Show, y assiste et dire :. Neural génération de légende de l'image avec une attention visuelle ICML, 2015

 Hugues Thomas, Charles R Qi, Jean-Emmanuel Deschaud, Beatriz Marcotegui, Franc de Goulette, et Leonidas J Guibas Kpconv: .. flexible et déformable convolution pour les nuages de points ICCV 2019.