The Meeseeks Mesh: Spatially Consistent 3D Adversarial Objects for BEV Detector

要約

3Dオブジェクト検出は、自律駆動システムの重要なコンポーネントです。
さまざまな環境条件下で、車両、歩行者、障害物のリアルタイム認識と検出が可能になります。
既存の方法の中で、鳥瞰図（BEV）での3Dオブジェクト検出が主流のフレームワークとして浮上しています。
安全で堅牢で信頼できる3Dオブジェクトの検出を保証するために、3D敵対的な攻撃が調査されます。ここでは、攻撃が3D環境に置かれ、モデルのパフォーマンスを評価します。
車に映画を置き、歩行者の服を着ます。
3D敵対的攻撃に対する3Dオブジェクト検出モデルの脆弱性は、摂動に対するモデルの堅牢性を評価するための重要な指標として機能します。
この脆弱性を調査するために、実際の攻撃シナリオに合わせて調整された非侵襲的な3D敵対的なオブジェクトを生成します。
私たちの方法は、時間とカメラビュー全体で空間的に一貫している普遍的な敵対的なオブジェクトの存在を検証します。
具体的には、微分型レンダリング手法を採用して、敵対的なオブジェクトとターゲットビークルの間の空間的関係を正確にモデル化します。
さらに、さまざまな視点の下で視覚的な一貫性とリアリズムを強化するために、咬合とアウェアのモジュールを導入します。
複数のフレームにわたって攻撃の有効性を維持するために、私たちはBEV空間機能ガイドの最適化戦略を設計します。
実験結果は、私たちのアプローチが最先端の3Dオブジェクト検出器からの車両の予測を確実に抑制し、展開前に3Dオブジェクト検出モデルの堅牢性をテストするための重要なツールとして機能することを示しています。
さらに、生成された敵対的なオブジェクトは強力な一般化能力を示し、シーンのさまざまな位置と距離でその有効性を保持します。

要約(オリジナル)

3D object detection is a critical component in autonomous driving systems. It allows real-time recognition and detection of vehicles, pedestrians and obstacles under varying environmental conditions. Among existing methods, 3D object detection in the Bird’s Eye View (BEV) has emerged as the mainstream framework. To guarantee a safe, robust and trustworthy 3D object detection, 3D adversarial attacks are investigated, where attacks are placed in 3D environments to evaluate the model performance, e.g. putting a film on a car, clothing a pedestrian. The vulnerability of 3D object detection models to 3D adversarial attacks serves as an important indicator to evaluate the robustness of the model against perturbations. To investigate this vulnerability, we generate non-invasive 3D adversarial objects tailored for real-world attack scenarios. Our method verifies the existence of universal adversarial objects that are spatially consistent across time and camera views. Specifically, we employ differentiable rendering techniques to accurately model the spatial relationship between adversarial objects and the target vehicle. Furthermore, we introduce an occlusion-aware module to enhance visual consistency and realism under different viewpoints. To maintain attack effectiveness across multiple frames, we design a BEV spatial feature-guided optimization strategy. Experimental results demonstrate that our approach can reliably suppress vehicle predictions from state-of-the-art 3D object detectors, serving as an important tool to test robustness of 3D object detection models before deployment. Moreover, the generated adversarial objects exhibit strong generalization capabilities, retaining its effectiveness at various positions and distances in the scene.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google