Real3D-Aug: Point Cloud Augmentation by Placing Real Objects with Occlusion Handling for 3D Detection and Segmentation

要約

3D LIDARポイントクラウドデータを使用したオブジェクト検出とセマンティックセグメンテーションには、高価な注釈が必要です。
すでに注釈が付けられているデータを複数回利用するデータ拡張手法を提案します。
実際のデータを再利用し、拡張するシーン内の適切な配置を自動的に見つけ、オクルージョンを明示的に処理する拡張フレームワークを提案します。
実際のデータを使用するため、拡張で新しく挿入されたオブジェクトのスキャンポイントは、強度や光線滴などのLIDARの物理的特性を維持します。
パイプラインは、3Dオブジェクト検出とセマンティックセグメンテーションのための最高のパフォーマンスモデルのトレーニングで競争力があることを証明しています。
新しい拡張機能は、まれで不可欠なクラスで大幅なパフォーマンスの向上をもたらします。特に、KITTIオブジェクト検出の「ハード」歩行者クラスの平均精度が6.65％向上するか、最先端のSemanticKITTIセグメンテーションチャレンジで平均IoUが2.14向上します。

要約(オリジナル)

Object detection and semantic segmentation with the 3D lidar point cloud data require expensive annotation. We propose a data augmentation method that takes advantage of already annotated data multiple times. We propose an augmentation framework that reuses real data, automatically finds suitable placements in the scene to be augmented, and handles occlusions explicitly. Due to the usage of the real data, the scan points of newly inserted objects in augmentation sustain the physical characteristics of the lidar, such as intensity and raydrop. The pipeline proves competitive in training top-performing models for 3D object detection and semantic segmentation. The new augmentation provides a significant performance gain in rare and essential classes, notably 6.65% average precision gain for ‘Hard’ pedestrian class in KITTI object detection or 2.14 mean IoU gain in the SemanticKITTI segmentation challenge over the state of the art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google