Application of Multimodal Large Language Models in Autonomous Driving

要約

技術の進歩のこの時代には、複雑な運転環境での安全性、効率、適応性の向上に焦点を当てた自律運転（AD）システムを強化するために、いくつかの最先端の技術が実装されています。
ただし、ADは依然としてパフォーマンスの制限などの問題に直面しています。
この問題に対処するために、マルチモーダルの大手言語モデルの実装に関する詳細な研究を実施しました。
仮想質問応答（VQA）データセットを作成して、モデルを微調整し、ADでのMLLMのパフォーマンスの低さで問題に対処しました。
次に、シーンの理解、予測、意思決定により、広告の意思決定プロセスを分類します。
一連の思考は、決定をより完全にするために使用されてきました。
私たちの実験と自律運転の詳細な分析は、MLLMがADにとってどれほど重要であるかを考えています。

要約(オリジナル)

In this era of technological advancements, several cutting-edge techniques are being implemented to enhance Autonomous Driving (AD) systems, focusing on improving safety, efficiency, and adaptability in complex driving environments. However, AD still faces some problems including performance limitations. To address this problem, we conducted an in-depth study on implementing the Multi-modal Large Language Model. We constructed a Virtual Question Answering (VQA) dataset to fine-tune the model and address problems with the poor performance of MLLM on AD. We then break down the AD decision-making process by scene understanding, prediction, and decision-making. Chain of Thought has been used to make the decision more perfectly. Our experiments and detailed analysis of Autonomous Driving give an idea of how important MLLM is for AD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google