DSDrive: Distilling Large Language Model for Lightweight End-to-End Autonomous Driving with Unified Reasoning and Planning

要約

自動運転車の推論と計画を統一されたフレームワークに統合するために調整された合理化されたエンドツーエンドのパラダイムであるDSDRIVEを提示します。
DSDRIVEは、蒸留方法を使用して、より大きなサイズのビジョン言語モデル（VLM）の強化された推論能力を維持するコンパクトLLMを活用します。
推論と計画のタスクを効果的に調整するために、データセット構造、最適化目標、および学習プロセスを同期するウェイポイント駆動型のデュアルヘッド調整モジュールがさらに開発されます。
これらのタスクを統一されたフレームワークに統合することにより、DSDRIVEは計画結果に固定され、詳細な推論洞察を組み込み、エンドツーエンドパイプラインの解釈可能性と信頼性を高めます。
DSDRIVEは、閉ループシミュレーションで徹底的にテストされており、ベンチマークモデルと同等に実行され、多くの重要なメトリックでさらにはパフォーマンスを発揮しますが、すべてサイズがコンパクトです。
さらに、DSDRIVEの計算効率（推論中の時間とメモリの要件に反映されているように）は大幅に強化されています。
このように、この作業は有望な側面をもたらし、ADに解釈可能で効率的なソリューションを提供する軽量システムの可能性を強調しています。

要約(オリジナル)

We present DSDrive, a streamlined end-to-end paradigm tailored for integrating the reasoning and planning of autonomous vehicles into a unified framework. DSDrive leverages a compact LLM that employs a distillation method to preserve the enhanced reasoning capabilities of a larger-sized vision language model (VLM). To effectively align the reasoning and planning tasks, a waypoint-driven dual-head coordination module is further developed, which synchronizes dataset structures, optimization objectives, and the learning process. By integrating these tasks into a unified framework, DSDrive anchors on the planning results while incorporating detailed reasoning insights, thereby enhancing the interpretability and reliability of the end-to-end pipeline. DSDrive has been thoroughly tested in closed-loop simulations, where it performs on par with benchmark models and even outperforms in many key metrics, all while being more compact in size. Additionally, the computational efficiency of DSDrive (as reflected in its time and memory requirements during inference) has been significantly enhanced. Evidently thus, this work brings promising aspects and underscores the potential of lightweight systems in delivering interpretable and efficient solutions for AD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google