AUTHENTICATION: Identifying Rare Failure Modes in Autonomous Vehicle Perception Systems using Adversarially Guided Diffusion Models

要約

自律車両（AVS）は、人工知能（AI）に依存して、オブジェクトを正確に検出し、周囲を解釈します。
ただし、数百万マイルの実際のデータを使用して訓練された場合でも、AVSはまれな障害モード（RFM）を検出できないことがよくあります。
RFMSの問題は、一般に「ロングテールチャレンジ」と呼ばれます。これは、非常にめったに見られない多くのインスタンスを含むデータの分布により。
この論文では、RFMSの理解に役立つ高度で説明可能なAI技術を利用する新しいアプローチを紹介します。
私たちの方法は、下流のモデルトレーニングとテストの両方と組み合わせると、AVSの堅牢性と信頼性を高めるために使用できます。
関心のあるオブジェクト（車など）のセグメンテーションマスクを抽出し、それらを反転させて環境マスクを作成します。
これらのマスクは、慎重に作成されたテキストプロンプトと組み合わせて、カスタム拡散モデルに供給されます。
敵対的なノイズの最適化に導かれた安定した拡散モデルを活用して、オブジェクト検出モデルを回避し、AIシステムの脆弱性を公開するように設計された多様な環境を含む画像を生成します。
最後に、開発者と政策立案者を導き、AVシステムの安全性と信頼性を向上させることができる生成されたRFMの自然言語の説明を作成します。

要約(オリジナル)

Autonomous Vehicles (AVs) rely on artificial intelligence (AI) to accurately detect objects and interpret their surroundings. However, even when trained using millions of miles of real-world data, AVs are often unable to detect rare failure modes (RFMs). The problem of RFMs is commonly referred to as the ‘long-tail challenge’, due to the distribution of data including many instances that are very rarely seen. In this paper, we present a novel approach that utilizes advanced generative and explainable AI techniques to aid in understanding RFMs. Our methods can be used to enhance the robustness and reliability of AVs when combined with both downstream model training and testing. We extract segmentation masks for objects of interest (e.g., cars) and invert them to create environmental masks. These masks, combined with carefully crafted text prompts, are fed into a custom diffusion model. We leverage the Stable Diffusion inpainting model guided by adversarial noise optimization to generate images containing diverse environments designed to evade object detection models and expose vulnerabilities in AI systems. Finally, we produce natural language descriptions of the generated RFMs that can guide developers and policymakers to improve the safety and reliability of AV systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google