Adv3D: Generating Safety-Critical 3D Objects through Closed-Loop Simulation

要約

自動運転車 (SDV) は、安全な導入を確保するために、幅広いシナリオで厳密にテストする必要があります。
業界は通常、閉ループ シミュレーションに依存して、合成シナリオと実際のシナリオのコーパス上で SDV がどのように相互作用するかを評価し、適切に実行されることを検証します。
ただし、主にシステムの動作計画モジュールをテストするだけであり、動作の変動のみを考慮します。
閉ループで完全な自律システムを評価し、俳優の形状などのシーンの外観に基づくセンサー データの変化がシステムのパフォーマンスにどのように影響するかを理解することが重要です。
この論文では、実世界のシナリオを採用し、自律性能を評価するために閉ループ センサー シミュレーションを実行するフレームワーク Adv3D を提案します。また、シナリオをより困難にし、結果として自律機能の失敗や不快な SDV 操作を引き起こす車両の形状を見つけます。
知覚のみを損なうために車両の屋根上や道路脇に人為的な敵対的な形状を追加するこれまでの研究とは異なり、低次元の形状表現を最適化して車両の形状自体を現実的な方法で変更し、自律性のパフォーマンス (知覚、予測、および認識など) を低下させます。
モーションプランニング)。
さらに、閉ループで最適化された Adv3D で見つかった形状の変化は、開ループでの変化よりもはるかに効果的であることがわかり、インタラクティブな設定での自律性に影響を与えるシーンの外観の変化を見つけることの重要性が実証されました。

要約(オリジナル)

Self-driving vehicles (SDVs) must be rigorously tested on a wide range of scenarios to ensure safe deployment. The industry typically relies on closed-loop simulation to evaluate how the SDV interacts on a corpus of synthetic and real scenarios and verify it performs properly. However, they primarily only test the system’s motion planning module, and only consider behavior variations. It is key to evaluate the full autonomy system in closed-loop, and to understand how variations in sensor data based on scene appearance, such as the shape of actors, affect system performance. In this paper, we propose a framework, Adv3D, that takes real world scenarios and performs closed-loop sensor simulation to evaluate autonomy performance, and finds vehicle shapes that make the scenario more challenging, resulting in autonomy failures and uncomfortable SDV maneuvers. Unlike prior works that add contrived adversarial shapes to vehicle roof-tops or roadside to harm perception only, we optimize a low-dimensional shape representation to modify the vehicle shape itself in a realistic manner to degrade autonomy performance (e.g., perception, prediction, and motion planning). Moreover, we find that the shape variations found with Adv3D optimized in closed-loop are much more effective than those in open-loop, demonstrating the importance of finding scene appearance variations that affect autonomy in the interactive setting.

arxiv情報

著者 Jay Sarva,Jingkang Wang,James Tu,Yuwen Xiong,Sivabalan Manivasagam,Raquel Urtasun
発行日 2023-11-02 17:56:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.LG, cs.RO パーマリンク