RoboBEV: Towards Robust Bird’s Eye View Perception under Corruptions

要約

タイトル：RoboBEV：耐破損性を持つ鳥瞰図認識の向上へ

要約：

– 最近のカメラベースの鳥瞰図表示の進歩は、車内の3D認識において大きな可能性を示している。
– しかし、従来の基準において大きな進歩が達成されながら、鳥瞰図アルゴリズムの堅牢性は徹底的に検証されていない。
– そこで、我々は、Bright、Dark、Fog、Snow、Motion Blur、Color Quant、Camera Crash、Frame Lostを含む8つの異なる破壊的データに対応する包括的なベンチマークスイートであるRoboBEVを導入した。
– 基づいて、私たちは広範囲のBEVベースのモデルにわたる評価を行い、その耐久性と信頼性を理解する。
– 私たちの研究により、内部分布と外部分布データセットでの絶対的な性能に強い相関性があることが示された。
– しかし、異なるアプローチ間で相対的な性能にはかなりのばらつきがあることがわかった。
– さらに、深度無しのBEV変換と事前学習を利用することで、外部分布の耐久性を向上できることがわかった。
– 加えて、長く豊富な時間情報を利用することで、ロバスト性が大幅に向上することが示された。
– これらの結果は、現実世界のデプロイメントにおいて精度と耐久性の両方を達成することができる、将来のBEVモデルの設計に役立つ価値ある洞察を提供する。

要約(オリジナル)

The recent advances in camera-based bird’s eye view (BEV) representation exhibit great potential for in-vehicle 3D perception. Despite the substantial progress achieved on standard benchmarks, the robustness of BEV algorithms has not been thoroughly examined, which is critical for safe operations. To bridge this gap, we introduce RoboBEV, a comprehensive benchmark suite that encompasses eight distinct corruptions, including Bright, Dark, Fog, Snow, Motion Blur, Color Quant, Camera Crash, and Frame Lost. Based on it, we undertake extensive evaluations across a wide range of BEV-based models to understand their resilience and reliability. Our findings indicate a strong correlation between absolute performance on in-distribution and out-of-distribution datasets. Nonetheless, there are considerable variations in relative performance across different approaches. Our experiments further demonstrate that pre-training and depth-free BEV transformation has the potential to enhance out-of-distribution robustness. Additionally, utilizing long and rich temporal information largely helps with robustness. Our findings provide valuable insights for designing future BEV models that can achieve both accuracy and robustness in real-world deployments.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI