Explainable Multi-Camera 3D Object Detection with Transformer-Based Saliency Maps

要約

ビジョン トランスフォーマー (ViT) は、3D オブジェクト検出を含むさまざまなコンピューター ビジョン タスクで最先端の結果を達成しました。
ただし、エンドツーエンドの実装では ViT の説明が難しくなり、当局、開発者、ユーザーがモデルの推論を理解することが重要となる自動運転などの安全性が重要なアプリケーションに ViT を導入する場合に課題となる可能性があります。
その予測の裏には。
この論文では、3D オブジェクト検出に使用される複数のカメラ入力を備えた DetR のような ViT の顕著性マップを生成する新しい方法を提案します。
私たちの方法は生の注意に基づいており、勾配ベースの方法よりも効率的です。
広範な摂動テストを使用して nuScenes データセットで提案された方法を評価し、視覚的な品質と定量的メトリクスの点で他の説明可能性方法よりも優れていることを示します。
また、変圧器のさまざまな層にわたって注意を集約することの重要性も示します。
私たちの取り組みは、ViT 向けの説明可能な AI の開発に貢献しており、AI モデルの内部動作に関する透明性を高めることで、AI アプリケーションの信頼性を高めることができます。

要約(オリジナル)

Vision Transformers (ViTs) have achieved state-of-the-art results on various computer vision tasks, including 3D object detection. However, their end-to-end implementation also makes ViTs less explainable, which can be a challenge for deploying them in safety-critical applications, such as autonomous driving, where it is important for authorities, developers, and users to understand the model’s reasoning behind its predictions. In this paper, we propose a novel method for generating saliency maps for a DetR-like ViT with multiple camera inputs used for 3D object detection. Our method is based on the raw attention and is more efficient than gradient-based methods. We evaluate the proposed method on the nuScenes dataset using extensive perturbation tests and show that it outperforms other explainability methods in terms of visual quality and quantitative metrics. We also demonstrate the importance of aggregating attention across different layers of the transformer. Our work contributes to the development of explainable AI for ViTs, which can help increase trust in AI applications by establishing more transparency regarding the inner workings of AI models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google