nuage de points 3D est un type de données irrégulières et aléatoires, réseau de neurones classique convolutionnel est difficile aux données de nuages de points de processus. Des chercheurs de l'Oregon State University robotique et systèmes intelligents (CoRIS) Institut présente PointConv, peuvent être très efficaces pour les données de nuages de points 3D de l'opération de convolution d'échantillonnage non uniforme, qui a obtenu d'excellents sur plusieurs ensembles de données la performance. Comme ICRA-10 convertit les données en un point de trouble, par exemple pour l'utilisation du réseau PointConv AlexNet VGG et la structure peut être obtenue avec des performances similaires classique CNN.
I. Contexte
Dans le robot, le pilote automatique et les applications de réalité virtuelle / augmentée, un accès direct aux capteurs de données 3D sont de plus en plus communs. Étant donné que les informations de profondeur peut éliminer une grande partie de la division d'incertitude (ambiguïté de segmentation) image 2D, et de fournir des informations importantes sur la géométrie, par conséquent, ont la capacité de traiter directement les données 3D est inestimable dans ces applications. Cependant, les données 3D est généralement sous la forme d'un nuage de points. nuage de points 3D représenté généralement par un ensemble de points de commande de pas d'agencement, ayant chacun un point ou sans fonctionnalités supplémentaires (par exemple des informations RGB). Etant donné que le point de trouble des caractéristiques de trouble et qui est différent de l'agencement en treillis classique des pixels dans l'image 2D, l'entrée classique CNN ce trouble difficile à manipuler.
Cet article propose une méthode peut être réalisée de manière efficace sur une convolution des données de nuages de points 3D de l'échantillonnage non uniforme. Nous appelons cette opération est PointConv. PointConv multicouche réseau convolutif de profondeur peut être construit sur un nuage de points 3D, les fonctions 2D CNN qui fonctionne sur une image de grille similaire. Cependant, la structure 2D peut être réalisée avec la même traduction invariance réseau de convolution, et le nuage de points de la substitution invariance de point séquentiel. Dans l'expérience, PointConv effet possible sur la classification des courant atteint le niveau optimal, alors que, sur la segmentation sémantique du nuage de points 3D peut donner les meilleurs résultats lors de la segmentation beaucoup plus que la soumission de papier. Pour illustrer PointConv peut parvenir à un véritable opération de convolution, nous avons également testé la base de données de classification d'images 10-ICRA. Les expériences montrent que, PointConv peut atteindre similaire à la précision de la classification traditionnelle de CNN.
La principale contribution de l'étude:
Densité convolution pondérée proposée PointConv, il est possible de définir des points 3D 3D approximativement totalement arbitraire sur un ensemble de convolution successives.
En changeant l'ordre de sommation, PointConv mise en uvre efficace du projet.
Le PointConv étendu à déconvolution (PointDeconv), pour obtenir un meilleur résultat de segmentation.
Deux, PointConv
Deux fonction continue f (x) et g (x) sur une convolution de dimension d des x du vecteur peut être représenté par la formule suivante:
Étant donné que l'image est en général une forme de matrice en forme de grille fixe est stocké, de sorte que l'image, le noyau de convolution est généralement mis en oeuvre sur un 3x3,5x5 de grille fixe. Dans le CNN, emploi différent quartier est convolution avec un noyau de convolution pour obtenir invariance. Ainsi, l'opération de convolution de l'image est une représentation discrète particulière de la convolution continue.
Expression des données de nuages de points 3D et l'image est tout à fait différente. Comme le montre. La figure 1, différente de l'image, le plus souvent par un certain nombre de points 3D nuage de points 3D. Aucune heure avant et après la séquence entre les points 3D, par conséquent, une opération de convolution sur le nuage de points 3D aurait arrangé invariance, à savoir les changements de point de consigne de points 3D ne devrait pas affecter le résultat de la séquence de convolution. En outre, une opération de convolution sur le point de trouble doit être adapté aux différentes formes du quartier.
Pour répondre à ces besoins, dans l'espace 3D, l'opérateur de convolution peut traiter en continu en tant que fonction continue des poids sur une des coordonnées locales des points de référence 3D. La formule suivante:
Dans laquelle, W et F sont des fonctions continues, (x, y, z) sont les coordonnées du point de référence 3D (Ax, Ay, Az) G représente un rapport de coordonnées voisinage de points 3D. (2) peut être discrétisé en un nuage de points 3D discret. Pendant ce temps, compte tenu du nuage de points 3D du capteur peut être un échantillonnage non uniforme, afin de compenser pour l'échantillonnage non uniforme, nous proposons d'utiliser l'inverse de poids pondéré de densité du poids appris. PointConv peut être représenté par la formule suivante,
Dans lequel, S désigne une fonction inverse du facteur de densité. fonctions continues W peuvent être approchées par un perceptron multicouche (MLP). W est une fonction de l'entrée (x, y, z) de points 3D 3D coordonnées relatives du centre de la région avoisinante, la sortie est le poids de chaque caractéristique correspondant au point F de poids. S est une fonction de la densité, la densité en chaque point est entrée, la sortie de chaque point correspond au facteur de densité inverse. La fonction non-linéaire peut également être évaluée par un perceptron à couches multiples.
La figure 3 montre un flux PointConv dans un quartier des K points 3D. FIG, C_in C_out et caractéristiques dimensionnelles représentent l'entrée et la sortie, k, c_in, c_out représente l'indice. Pour PointConv, l'entrée se compose de trois parties: une coordonnée relative PLOCAL points 3D, et dans lequel Densité Densité F_in. Les coordonnées relatives PLOCAL point 3D après la fonction continue MLP1 peut être obtenue pour chaque point de la caractéristique correspondant au poids W est, et la densité de la masse volumique après mlp2 obtenu facteur de densité inverse S; W de poids résultant, le coefficient de densité inverse S, et dans lequel l'entrée F Par la suite, l'équation suivante peut être convoluée pour obtenir une caractéristique de sortie F_SOR:
PointConv par l'apprentissage de noyau de convolution continu, adaptée aux caractéristiques irrégulières du nuage de points 3D, pour réaliser la permutation d'invariance, l'opération de convolution de telle sorte que l'image développée à partir de la technique classique dans le nuage de points 3D.
Troisièmement, PointConv efficace
La version originale de PointConv mettre en uvre la consommation de mémoire, une faible efficacité. Pour résoudre ces problèmes, nous proposons une nouvelle méthode de reconstruction, le standard fonctionnement PointConv réduit à deux: la multiplication de matrices 2D et convolution. Cette nouvelle technique non seulement prendre avantage des avantages de calcul parallèle du GPU, le principal cadre pour l'apprentissage en profondeur facile peut aussi. Etant donné que les densités caractéristiques inverses pas de tels problèmes de mémoire, de sorte que la discussion qui suit se concentre principalement sur la fonction de poids W.
1. créer des problèmes de mémoire
Plus précisément, comme le mini-lot B pour rendre la taille de la phase d'apprentissage, N est le nombre de points du nuage de points, K est le nombre de points pour chaque région locale, le nombre de canaux d'entrée C_IN, C_out du nombre de canaux de sortie. Pour le point de nuage, chaque région locale partagent la même fonction de pondération, qui peut être obtenu par l'apprentissage MLP. Les coefficients de pondération de la fonction de pondération à différents points dans les poids calculés sont différents. MLP généré par le paramètre de pondération taille tensoriel B × N × K × (C_in × C_out). Supposons que B = 32, N = 512, K = 32, C_in = 64, C_out = 64, et les paramètres de poids stockés en simple précision, une couche de réseau est requis 8 Go de mémoire. Une telle consommation de mémoire haute rendra le réseau de formation très difficile. l'utilisation d'un petit nombre de très petits réseaux et les filtres, ce qui réduit considérablement ses performances.
2. efficace PointConv
Afin de résoudre les problèmes de mémoire mentionnés ci-dessus, nous vous proposons une Lemme la version efficace à base de mémoire PointConv 1, qui est la plus importante contribution à cet article.
Des preuves spécifiques peuvent se référer aux documents originaux. La re-mettre en uvre Lemme 1 PointConv, peut être réalisé une opération de convolution exactement, mais réduire considérablement la consommation de mémoire. 1 en utilisant la même configuration, une empreinte unique de convolution se rétrécira environ 0,1 g 8G, devient 1/64 de l'original.. La figure 5 montre l'effet de convolution PointConv.
Quatrièmement, l'opération de déconvolution
Dans la division des tâches, la possibilité de transmettre des informations de la couche finement dépolie à la couche est très importante. Étant donné que la norme convolution PointConv peut être mis en uvre, de manière à étendre PointConv PointDeconv est logique. PointDeconv se compose de deux parties: interpolation et PointConv. Tout d'abord, en utilisant un algorithme d'interpolation linéaire pour obtenir une valeur initiale de la couche de fines caractéristique, puis une fonction d'optimisation PointConv sur la couche fine, en obtenant ainsi des valeurs de caractéristiques plus grande précision. La figure 4 montre les processus de la spécifiques de l'opération de déconvolution.
cinq expériences
Pour illustrer l'efficacité de PointConv, nous avons effectué sur les tests de base de données de nuages de points 3D standard, y compris ModelNet40, ShapeNet et ScanNet. En même temps, afin d'illustrer PointConv et les images peuvent être équivalentes à CNN, nous avons effectué des tests sur CIFAR10. Ici nous nous concentrons sur les résultats des tests sur ScanNet, plus de résultats, s'il vous plaît se référer à l'article original. Comme le montre le tableau 3, seul réseau PointConv les quatre couches, peut être atteint beaucoup mieux que les autres algorithmes de segmentation effet sémantique des scénarios de test, les courant atteint le niveau optimal. La figure 7 montre des résultats de la sémantique visuelle segmentation intérieure de la scène.
Pour illustrer PointConv peut être équivalent à CNN sur l'image, nous avons effectué des tests sur CIFAR10. Tout d'abord, les pixels d'image nuage de points de transition CIFAR10 revêtus dans une grille, puis en utilisant la classification PointConv. Le tableau 4 donne PointConv autre algorithme de nuage de points 3D comparative et classification des images de précision CNN. Peut être vu, les couches PointConv 5 peuvent être atteints et AlexNet (5 couche CNN) précision similaire, tandis que, PointConv (VGG) peut atteindre VGG similaire et la précision de la classification. Pendant ce temps, le point 3D nuage autres algorithmes, tels que PointCNN etc., pour obtenir une précision de classification est seulement d'environ 80%. Cette expérience illustre PointConv peut atteindre les résultats d'apprentissage avec le même niveau de l'image CNN.
Papier: PointConv: Deep Convolutif Réseaux sur nuages de points 3D
Adresse Papers: https: //arxiv.org/pdf/1811.07246.pdf
Adresse Code: https: //github.com/DylanWusee/pointconv
Résumé: Les différentes images à l'aide d'une représentation par maillage classique dense de nuage de points 3D est irrégulière et désordonnée, réalisant ainsi une convolution de celui-ci difficile. Dans cet article, nous étendons le filtre dynamique est une nouvelle convolution PointConv nom. PointConv réseau profondeur convolutionnel peut être construit sur le point de trouble. Nous avons considéré la convolution d'une fonction non linéaire coordonnées locales 3D, la fonction et la fonction de pondération de la densité de la composition. Pour un point donné, l'utilisation de Multilayer fonction de poids apprentissage Perceptron, estimation de la densité du noyau par l'apprentissage fonction de densité. Pour fonctionner efficacement recalculera le poids, nous avons proposé une nouvelle méthode de calcul, le réseau a considérablement élargi l'échelle, la performance est nettement améliorée. Heke apprendre le calcul de convolution pour la traduction sur un ensemble de points dans l'espace 3D et le remplacement Bubian Bubian convolution de convolution. En outre, PointConv peut également être utilisé comme un opérateur de déconvolution, à partir du sous-échantillonnage du nuage de point caractéristique extrait répercutées sur la résolution d'origine. Des expériences sur ModelNet40, ShapeNet ScanNet et de montrer les meilleurs résultats peuvent être obtenus sur la référence actuelle de segmentation sémantique difficiles lors de la construction de profondeur PointConv convolutionnel réseau de neurones pour effectuer des opérations à partir d'un nuage de points 3D. De plus, le 10 est ICRA transformé en expériences de nuages de points montraient, en fonction des performances du réseau comparable PointConv construit pour effectuer des opérations structure similaire réseau de convolution d'image 2D.
