Safety-Enhanced Autonomous Driving Using Interpretable Sensor Fusion Transformer

要約

自動運転車の大規模な展開は、安全上の懸念から継続的に遅れています。
一方で、包括的なシーンの理解は不可欠であり、それが欠如していると、未知のオブジェクトの突然の出現など、まれではあるが複雑な交通状況に対する脆弱性が生じます。
ただし、グローバルコンテキストからの推論には、複数のタイプのセンサーへのアクセスとマルチモーダルセンサー信号の適切な融合が必要であり、これを実現することは困難です。
一方で、学習モデルの解釈可能性の欠如は、検証不可能な失​​敗の原因で安全性を妨げます。
本稿では、マルチモーダルマルチビューセンサーからの情報を完全に処理および融合して、包括的なシーンの理解と敵対的なイベントの検出を実現する、Interpretable Sensor Fusion Transformer（InterFuser）という名前の安全性が強化された自動運転フレームワークを提案します。
さらに、中間の解釈可能な機能がフレームワークから生成されます。これは、より多くのセマンティクスを提供し、アクションを安全なセット内に制限するために活用されます。
CARLAベンチマークで広範な実験を実施しました。このベンチマークでは、モデルが以前の方法よりも優れており、公開されているCARLAリーダーボードで1位にランクされています。

要約(オリジナル)

Large-scale deployment of autonomous vehicles has been continually delayed due to safety concerns. On the one hand, comprehensive scene understanding is indispensable, a lack of which would result in vulnerability to rare but complex traffic situations, such as the sudden emergence of unknown objects. However, reasoning from a global context requires access to sensors of multiple types and adequate fusion of multi-modal sensor signals, which is difficult to achieve. On the other hand, the lack of interpretability in learning models also hampers the safety with unverifiable failure causes. In this paper, we propose a safety-enhanced autonomous driving framework, named Interpretable Sensor Fusion Transformer(InterFuser), to fully process and fuse information from multi-modal multi-view sensors for achieving comprehensive scene understanding and adversarial event detection. Besides, intermediate interpretable features are generated from our framework, which provide more semantics and are exploited to better constrain actions to be within the safe sets. We conducted extensive experiments on CARLA benchmarks, where our model outperforms prior methods, ranking the first on the public CARLA Leaderboard.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google