GBlobs: Explicit Local Structure via Gaussian Blobs for Improved Cross-Domain LiDAR-based 3D Object Detection

要約

LIDARベースの3D検出器には、トレーニングのために大きなデータセットが必要ですが、新しいドメインに一般化するのに苦労しています。
ドメイン一般化（DG）は、このようなドメインシフトに不変の検出器をトレーニングすることにより、これを軽減することを目的としています。
現在のDGアプローチは、入力機能としてグローバルな幾何学的特徴（Point Cloud Cartesian Coordinates）にのみ依存しています。
ただし、これらのグローバルな幾何学的特徴に過度に依存すると、3D検出器がオブジェクトの位置と絶対位置に優先順位を付けることができ、クロスドメインのパフォーマンスが低下します。
これを緩和するために、特にGaussian Blobs、GBLOBでポイントクラウド近隣をエンコードすることにより、DGの明示的なローカルポイントクラウド構造を活用することを提案します。
提案された策定は非常に効率的であり、追加のパラメーターは必要ありません。
ベルやホイッスルなしで、既存の検出器にGBLOBを統合するだけで、21を超えるマップ（Waymo-> kitti）、13 Map（Kitti-> waymo）、および12 Map（nuscenes-> kitti）によって、挑戦的なシングルソースDGベンチマークを倒すことで、ドメイン内のパフォーマンスを犠牲にすることなく、現在の最先端のシングルソースDGベンチマークを破りました。
さらに、GBLOBSはマルチソースDGで例外的なパフォーマンスを発揮し、それぞれ現在の最先端を17、12、および5のマップを上回ります。

要約(オリジナル)

LiDAR-based 3D detectors need large datasets for training, yet they struggle to generalize to novel domains. Domain Generalization (DG) aims to mitigate this by training detectors that are invariant to such domain shifts. Current DG approaches exclusively rely on global geometric features (point cloud Cartesian coordinates) as input features. Over-reliance on these global geometric features can, however, cause 3D detectors to prioritize object location and absolute position, resulting in poor cross-domain performance. To mitigate this, we propose to exploit explicit local point cloud structure for DG, in particular by encoding point cloud neighborhoods with Gaussian blobs, GBlobs. Our proposed formulation is highly efficient and requires no additional parameters. Without any bells and whistles, simply by integrating GBlobs in existing detectors, we beat the current state-of-the-art in challenging single-source DG benchmarks by over 21 mAP (Waymo->KITTI), 13 mAP (KITTI->Waymo), and 12 mAP (nuScenes->KITTI), without sacrificing in-domain performance. Additionally, GBlobs demonstrate exceptional performance in multi-source DG, surpassing the current state-of-the-art by 17, 12, and 5 mAP on Waymo, KITTI, and ONCE, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google