PAI3D: Painting Adaptive Instance-Prior for 3D Object Detection

要約

3D オブジェクトの検出は、自動運転における重要なタスクです。
最近、LiDAR とカメラの補完的な利点を組み合わせたマルチモーダル フュージョン ベースの 3D オブジェクト検出方法は、モノモーダル方法よりも大幅なパフォーマンスの向上を示しています。
ただし、これまでのところ、インスタンスレベルのコンテキスト画像セマンティクスを利用して 3D オブジェクト検出を導く方法はありません。
この論文では、インスタンスレベルの画像セマンティクスをポイントクラウド機能と柔軟に融合するために、3Dオブジェクト検出（PAI3D）のためのシンプルで効果的なペインティングアダプティブインスタンスプリアを提案します。
PAI3D は、マルチモーダル シーケンシャル インスタンス レベルの融合フレームワークです。
最初に画像からインスタンス レベルのセマンティック情報を抽出し、抽出された情報 (オブジェクトのカテゴリ ラベル、ポイントツーオブジェクト メンバーシップ、オブジェクトの位置など) を使用して、後続の 3D 検出ネットワーク内の各 LiDAR ポイントを強化し、検出パフォーマンスをガイドおよび改善します。
.
PAI3D は、nuScenes データセットで大きなマージンを持って最新技術を上回り、テスト分割で mAP で 71.4、NDS で 74.2 を達成しました。
私たちの包括的な実験は、インスタンス レベルの画像セマンティクスがパフォーマンスの向上に最も貢献することを示しています。PAI3D は、高品質のインスタンス セグメンテーション モデルや最新のポイント クラウド 3D エンコーダーとうまく連携するため、自動運転車への展開の強力な候補となります。

要約(オリジナル)

3D object detection is a critical task in autonomous driving. Recently multi-modal fusion-based 3D object detection methods, which combine the complementary advantages of LiDAR and camera, have shown great performance improvements over mono-modal methods. However, so far, no methods have attempted to utilize the instance-level contextual image semantics to guide the 3D object detection. In this paper, we propose a simple and effective Painting Adaptive Instance-prior for 3D object detection (PAI3D) to fuse instance-level image semantics flexibly with point cloud features. PAI3D is a multi-modal sequential instance-level fusion framework. It first extracts instance-level semantic information from images, the extracted information, including objects categorical label, point-to-object membership and object position, are then used to augment each LiDAR point in the subsequent 3D detection network to guide and improve detection performance. PAI3D outperforms the state-of-the-art with a large margin on the nuScenes dataset, achieving 71.4 in mAP and 74.2 in NDS on the test split. Our comprehensive experiments show that instance-level image semantics contribute the most to the performance gain, and PAI3D works well with any good-quality instance segmentation models and any modern point cloud 3D encoders, making it a strong candidate for deployment on autonomous vehicles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google