A Black-Box Evaluation Framework for Semantic Robustness in Bird’s Eye View Detection

要約

カメラベースの鳥瞰図 (BEV) 認識モデルは、深層学習の堅牢性と信頼性について懸念が生じている自動運転における重要な役割でますます注目を集めています。
ランダムに生成された意味論的摂動、別名自然破損のマルチビュー BEV 検出タスクへの影響を調査した研究はわずかしかありませんが、私たちは、幾何学的変換、カラーシフトという 3 つの一般的な意味論的摂動を敵対的に最適化するブラックボックス堅牢性評価フレームワークを開発しました。
、およびモーション ブラーを使用して BEV モデルを欺き、この新興分野における最初のアプローチとして機能します。
セマンティック摂動の最適化によってもたらされる課題に対処するために、mAP メトリックを置き換える平滑化された距離ベースのサロゲート関数を設計し、観測された傾きを利用して最適化プロセスをガイドする決定論的最適化アルゴリズムである SimpleDIRECT を導入します。
ランダム化摂動と 2 つの最適化ベースラインと比較することにより、提案されたフレームワークの有効性を実証します。
さらに、最近の 10 個の BEV モデルのセマンティック堅牢性に関するベンチマークを提供します。
結果は、多視点画像からの幾何学的情報を強調する PolarFormer が最も高い堅牢性を示すのに対し、BEVDet は完全に妥協され、精度がゼロに低下していることが明らかになりました。

要約(オリジナル)

Camera-based Bird’s Eye View (BEV) perception models receive increasing attention for their crucial role in autonomous driving, a domain where concerns about the robustness and reliability of deep learning have been raised. While only a few works have investigated the effects of randomly generated semantic perturbations, aka natural corruptions, on the multi-view BEV detection task, we develop a black-box robustness evaluation framework that adversarially optimises three common semantic perturbations: geometric transformation, colour shifting, and motion blur, to deceive BEV models, serving as the first approach in this emerging field. To address the challenge posed by optimising the semantic perturbation, we design a smoothed, distance-based surrogate function to replace the mAP metric and introduce SimpleDIRECT, a deterministic optimisation algorithm that utilises observed slopes to guide the optimisation process. By comparing with randomised perturbation and two optimisation baselines, we demonstrate the effectiveness of the proposed framework. Additionally, we provide a benchmark on the semantic robustness of ten recent BEV models. The results reveal that PolarFormer, which emphasises geometric information from multi-view images, exhibits the highest robustness, whereas BEVDet is fully compromised, with its precision reduced to zero.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google