Calibration-free BEV Representation for Infrastructure Perception

要約

タイトル：インフラストラクチャー認識のためのキャリブレーションフリーBEV表現
要約：
– インフラストラクチャー上に設置されたカメラは位置が異なるため、従来のBEV検出手法には正確なキャリブレーションが必要であった。
– しかしながら、自然要因（風や雪など）により、実用的なアプリケーションには困難であることがある。
– そこで、CBRと呼ばれる、キャリブレーションパラメーターと追加の深度監視なしでBEV表現に基づく3D検出を実現するネットワークを提案する。
– 具体的には、正面視点からBEV視点までの特徴を分離するために、ボックスによるフォアグラウンド監視下で2つの多層パーセプトロンを使用する。
– そして、クロスビュー特徴融合モジュールにより、直交するビューからの特徴を類似性に基づいて一致させて、正面視点の特徴とともにBEV特徴を強化する。
– DAIR-V2Xにおける実験結果は、CBRがどのカメラパラメータにも依存せずに受け入れ可能な性能を発揮することを示しており、キャリブレーションのノイズに自然に影響されることはない。
– CBRは、インフラストラクチャー認識の実践的な課題に対処する将来の研究の基礎となることを期待している。

要約(オリジナル)

Effective BEV object detection on infrastructure can greatly improve traffic scenes understanding and vehicle-toinfrastructure (V2I) cooperative perception. However, cameras installed on infrastructure have various postures, and previous BEV detection methods rely on accurate calibration, which is difficult for practical applications due to inevitable natural factors (e.g., wind and snow). In this paper, we propose a Calibration-free BEV Representation (CBR) network, which achieves 3D detection based on BEV representation without calibration parameters and additional depth supervision. Specifically, we utilize two multi-layer perceptrons for decoupling the features from perspective view to front view and birdeye view under boxes-induced foreground supervision. Then, a cross-view feature fusion module matches features from orthogonal views according to similarity and conducts BEV feature enhancement with front view features. Experimental results on DAIR-V2X demonstrate that CBR achieves acceptable performance without any camera parameters and is naturally not affected by calibration noises. We hope CBR can serve as a baseline for future research addressing practical challenges of infrastructure perception.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI