Point-Syn2Real: Semi-Supervised Synthetic-to-Real Cross-Domain Learning for Object Classification in 3D Point Clouds

要約

LiDAR 3D 点群データを使用したオブジェクト分類は、自動運転などの最新のアプリケーションにとって重要です。
ただし、点群データのラベル付けは、人間のアノテーターがさまざまな視点から 3D データを視覚化して検査する必要があるため、労力がかかります。
この論文では、点群の手動注釈に依存せず、完全教師ありアプローチと同様に実行する、半教師ありクロスドメイン学習アプローチを提案します。
利用可能な 3D オブジェクト モデルを利用して、現実世界の点群に一般化できる分類器をトレーニングします。
複数の視点から 3D オブジェクト モデルをサンプリングし、任意の部分オクルージョンを使用して、点群の取得をシミュレートします。
次に、ランダムな回転とガウス ノイズの追加により、結果として得られる点群のセットを拡張して、現実世界のシナリオをより適切にエミュレートします。
次に、合成および拡張されたデータセットで点群エンコーディング モデル (DGCNN、PointNet++ など) をトレーニングし、対応する実世界のデータセットでクロスドメイン分類のパフォーマンスを評価します。
また、点群のクロスドメイン学習用の新しいベンチマーク データセットである Point-Syn2Real も紹介します。
このデータセットを使用した広範な実験の結果は、点群に対する提案されたクロスドメイン学習アプローチが、クロスドメイン一般化の点で、屋内と屋外の両方の設定で関連するベースラインおよび最先端のアプローチよりも優れていることを示しています。
コードとデータは公開時に利用可能になります。

要約(オリジナル)

Object classification using LiDAR 3D point cloud data is critical for modern applications such as autonomous driving. However, labeling point cloud data is labor-intensive as it requires human annotators to visualize and inspect the 3D data from different perspectives. In this paper, we propose a semi-supervised cross-domain learning approach that does not rely on manual annotations of point clouds and performs similar to fully-supervised approaches. We utilize available 3D object models to train classifiers that can generalize to real-world point clouds. We simulate the acquisition of point clouds by sampling 3D object models from multiple viewpoints and with arbitrary partial occlusions. We then augment the resulting set of point clouds through random rotations and adding Gaussian noise to better emulate the real-world scenarios. We then train point cloud encoding models, e.g., DGCNN, PointNet++, on the synthesized and augmented datasets and evaluate their cross-domain classification performance on corresponding real-world datasets. We also introduce Point-Syn2Real, a new benchmark dataset for cross-domain learning on point clouds. The results of our extensive experiments with this dataset demonstrate that the proposed cross-domain learning approach for point clouds outperforms the related baseline and state-of-the-art approaches in both indoor and outdoor settings in terms of cross-domain generalizability. The code and data will be available upon publishing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google