Semantics-guided Transformer-based Sensor Fusion for Improved Waypoint Prediction

要約

インテリジェントな自動運転エージェントのためのセンサーフュージョンアプローチは、入力センサーから取得された視覚的なグローバルコンテキストを与えられたシーン理解を推進するための鍵であり続ける。具体的には、局所的なウェイポイント予測タスクでは、単一モダリティネットワークは、入力センサの感度に強く依存するため、まだ制限されている。複数のデータモダリティが相互のコンテキスト交換を促進することはよく知られているが、実用的なドライビングシナリオへの展開は、最小限の計算でリアルタイムにグローバルな3Dシーン理解を必要とするため、実用的に使用可能なセンサの数が限られている場合には、学習戦略がより重要な意味を持つ。この観点から、我々は、補助タスクの特徴を融合し、模倣学習に基づくウェイポイント予測のための補助ヘッドも使用することで、関心のあるターゲットタスク（例えば、信号機認識やセマンティックセグメンテーション）と相関の高い、注意深く選択された補助タスクを利用する。我々のマルチタスク特徴フュージョンは、CARLAシミュレータにおいて、より安全で完全な道路ナビゲーションを実現するために、ベースネットワークであるTransFuserを大幅に補強・改善する。

要約(オリジナル)

Sensor fusion approaches for intelligent self-driving agents remain key to driving scene understanding given visual global contexts acquired from input sensors. Specifically, for the local waypoint prediction task, single-modality networks are still limited by strong dependency on the sensitivity of the input sensor, and thus recent works promote the use of multiple sensors in fusion in feature level. While it is well known that multiple data modalities promote mutual contextual exchange, deployment to practical driving scenarios requires global 3D scene understanding in real-time with minimal computations, thus placing greater significance on training strategies given a limited number of practically usable sensors. In this light, we exploit carefully selected auxiliary tasks that are highly correlated with the target task of interest (e.g., traffic light recognition and semantic segmentation) by fusing auxiliary task features and also using auxiliary heads for waypoint prediction based on imitation learning. Our multi-task feature fusion augments and improves the base network, TransFuser, by significant margins for safer and more complete road navigation in CARLA simulator as validated on the Town05 Benchmark through extensive experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL