Is Your LiDAR Placement Optimized for 3D Scene Understanding?

要約

前例のない状況下での運転認識システムの信頼性は、実用化にとって非常に重要です。
最新の進歩により、マルチ LiDAR 認識に対する関心が高まっています。
しかし、一般的な運転データセットは主に単一の LiDAR システムを利用し、悪条件のないデータを収集するため、現実世界の複雑な環境を正確に捉えることができません。
これらのギャップに対処するために、私たちは、LiDAR 配置の最適化、データ生成、ダウンストリーム評価を含むフルサイクル パイプラインである Place3D を提案しました。
私たちのフレームワークは 3 つの魅力的な貢献をしています。
1) マルチ LiDAR システムの最も効果的な構成を特定するために、LiDAR の配置品質を評価するセマンティック占有グリッド (M-SOG) のサロゲート メトリックを導入します。
2) M-SOG メトリクスを活用して、マルチ LiDAR の配置を調整するための新しい最適化戦略を提案します。
3) 複数条件のマルチ LiDAR 知覚のテーマを中心に、クリーンな条件と悪条件の両方から 280,000 フレームのデータセットを収集します。
広範な実験により、当社のアプローチを使用して最適化された LiDAR の配置がさまざまなベースラインよりも優れたパフォーマンスを発揮することが実証されました。
さまざまな気象条件やセンサー障害条件下で、LiDAR セマンティック セグメンテーションと 3D オブジェクト検出タスクの両方で優れた結果を示しました。

要約(オリジナル)

The reliability of driving perception systems under unprecedented conditions is crucial for practical usage. Latest advancements have prompted increasing interest in multi-LiDAR perception. However, prevailing driving datasets predominantly utilize single-LiDAR systems and collect data devoid of adverse conditions, failing to capture the complexities of real-world environments accurately. Addressing these gaps, we proposed Place3D, a full-cycle pipeline that encompasses LiDAR placement optimization, data generation, and downstream evaluations. Our framework makes three appealing contributions. 1) To identify the most effective configurations for multi-LiDAR systems, we introduce the Surrogate Metric of the Semantic Occupancy Grids (M-SOG) to evaluate LiDAR placement quality. 2) Leveraging the M-SOG metric, we propose a novel optimization strategy to refine multi-LiDAR placements. 3) Centered around the theme of multi-condition multi-LiDAR perception, we collect a 280,000-frame dataset from both clean and adverse conditions. Extensive experiments demonstrate that LiDAR placements optimized using our approach outperform various baselines. We showcase exceptional results in both LiDAR semantic segmentation and 3D object detection tasks, under diverse weather and sensor failure conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google