DeepInteraction++: Multi-Modality Interaction for Autonomous Driving

要約

既存の最高パフォーマンスの自律駆動システムは、通常、信頼できるシーンの理解のためにマルチモーダル融合戦略に依存しています。
ただし、この設計は、モダリティ固有の強度を見落とし、最終的にモデルのパフォーマンスを妨げるため、根本的に制限されています。
この制限に対処するために、この作業では、個々のモダリティ表現を学習および維持できる新しいモダリティ相互作用戦略を紹介し、知覚パイプライン全体で独自の特性を活用できるようにします。
提案された戦略の有効性を実証するために、マルチモーダル表現相互作用エンコーダとマルチモーダル予測インタラクションデコーダーを特徴とするマルチモーダルインタラクションフレームワークであるDeepItraction ++を設計します。
具体的には、エンコーダーは、個別のモダリティ固有の表現間の情報交換と統合のための特殊な注意操作を備えたデュアルストリームトランスとして実装されています。
当社のマルチモーダル表現学習には、オブジェクト中心の正確なサンプリングベースの機能アライメントと、より困難な計画タスクに不可欠なグローバルな密度の高い情報の両方の両方の両方が組み込まれています。
デコーダーは、統一されたモダリティに依存しない方法で個別の表現から情報を交互に集約し、マルチモーダル予測相互作用を実現することにより、予測を繰り返し改善するように設計されています。
広範な実験は、3Dオブジェクトの検出とエンドツーエンドの自律運転タスクの両方で提案されたフレームワークの優れた性能を示しています。
私たちのコードは、https：//github.com/fudan-zvg/deepinteractionで入手できます。

要約(オリジナル)

Existing top-performance autonomous driving systems typically rely on the multi-modal fusion strategy for reliable scene understanding. This design is however fundamentally restricted due to overlooking the modality-specific strengths and finally hampering the model performance. To address this limitation, in this work, we introduce a novel modality interaction strategy that allows individual per-modality representations to be learned and maintained throughout, enabling their unique characteristics to be exploited during the whole perception pipeline. To demonstrate the effectiveness of the proposed strategy, we design DeepInteraction++, a multi-modal interaction framework characterized by a multi-modal representational interaction encoder and a multi-modal predictive interaction decoder. Specifically, the encoder is implemented as a dual-stream Transformer with specialized attention operation for information exchange and integration between separate modality-specific representations. Our multi-modal representational learning incorporates both object-centric, precise sampling-based feature alignment and global dense information spreading, essential for the more challenging planning task. The decoder is designed to iteratively refine the predictions by alternately aggregating information from separate representations in a unified modality-agnostic manner, realizing multi-modal predictive interaction. Extensive experiments demonstrate the superior performance of the proposed framework on both 3D object detection and end-to-end autonomous driving tasks. Our code is available at https://github.com/fudan-zvg/DeepInteraction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google