Voint Cloud: Multi-View Point Cloud Representation for 3D Understanding

要約

マルチビュー投影法は、3D 分類やセグメンテーションなどの 3D 理解タスクで有望なパフォーマンスを示しています。
ただし、このようなマルチビュー手法を広く利用可能な 3D 点群と組み合わせる方法は不明のままです。
以前の方法では、未学習のヒューリスティックを使用して、ポイント レベルでフィーチャを結合していました。
この目的のために、複数の視点から抽出された一連の特徴として各 3D ポイントを表す、多視点ポイント クラウド (Voint クラウド) の概念を導入します。
この斬新な 3D Voint クラウド表現は、3D 点群表現のコンパクトさとマルチビュー表現の自然なビュー認識を組み合わせています。
当然、この新しい表現に畳み込み演算とプーリング演算を装備できます。
Voint ニューラル ネットワーク (VointNet) を展開して、Voint 空間での表現を学習します。
私たちの新しい表現は、標準ベンチマーク (ScanObjectNN、ShapeNet Core55、および ShapeNet Parts) で、3D 分類、形状検索、および堅牢な 3D パーツ セグメンテーションで \sota パフォーマンスを達成します。

要約(オリジナル)

Multi-view projection methods have demonstrated promising performance on 3D understanding tasks like 3D classification and segmentation. However, it remains unclear how to combine such multi-view methods with the widely available 3D point clouds. Previous methods use unlearned heuristics to combine features at the point level. To this end, we introduce the concept of the multi-view point cloud (Voint cloud), representing each 3D point as a set of features extracted from several view-points. This novel 3D Voint cloud representation combines the compactness of 3D point cloud representation with the natural view-awareness of multi-view representation. Naturally, we can equip this new representation with convolutional and pooling operations. We deploy a Voint neural network (VointNet) to learn representations in the Voint space. Our novel representation achieves \sota performance on 3D classification, shape retrieval, and robust 3D part segmentation on standard benchmarks ( ScanObjectNN, ShapeNet Core55, and ShapeNet Parts).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google