Explanation for Trajectory Planning using Multi-modal Large Language Model for Autonomous Driving

要約

最近、エンドツーエンド型の自動運転モデル​​が開発されています。
これらのモデルには、自我車両の知覚から制御に至る意思決定プロセスの解釈可能性が欠けており、乗客に不安をもたらします。
これを軽減するには、自車両の今後の行動とその理由を説明するキャプションを出力するモデルを構築することが有効である。
しかし、既存のアプローチは、瞬間的な制御信号を入力として使用してキャプションを出力するようにモデルをトレーニングするため、自車両の将来の計画を適切に反映していない推論テキストを生成します。
本研究では、新たに収集したデータセットを用いてこの制限を解決するために、自車両の将来計画軌道を入力とする推論モデルを提案する。

要約(オリジナル)

End-to-end style autonomous driving models have been developed recently. These models lack interpretability of decision-making process from perception to control of the ego vehicle, resulting in anxiety for passengers. To alleviate it, it is effective to build a model which outputs captions describing future behaviors of the ego vehicle and their reason. However, the existing approaches generate reasoning text that inadequately reflects the future plans of the ego vehicle, because they train models to output captions using momentary control signals as inputs. In this study, we propose a reasoning model that takes future planning trajectories of the ego vehicle as inputs to solve this limitation with the dataset newly collected.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google