OWLed: Outlier-weighed Layerwise Pruning for Efficient Autonomous Driving Framework

要約

大規模言語モデル (LLM) を自動運転システムに統合すると、環境の理解と意思決定の強化が期待できます。
ただし、LLM を車両にローカルに展開するにはかなりの計算量が必要となるため、このアプローチは現実の自動車アプリケーションでは実現できません。
この課題に対処するために、モデル圧縮に外れ値で重み付けされた層ごとのスパース性を活用する、効率的な自動運転フレームワークのための外れ値で重み付けされた層ごとの枝刈りである OWLed を導入します。
私たちの方法では、外れ値の特徴の分布に基づいて不均一なスパース率をさまざまなレイヤーに割り当て、微調整を必要とせずにモデルのサイズを大幅に削減します。
圧縮モデルが自動運転タスクに適切に適応することを保証するために、運転環境データをキャリブレーション プロセスとプルーニング プロセスの両方に組み込みます。
私たちの実証研究により、エンコーダ コンポーネントは LLM よりもプルーニングの影響を受けやすいことが明らかになり、システムにおけるエンコーダ コンポーネントの重要な役割が強調されています。
実験結果は、OWLedが、計算要件を大幅に削減しながら、知覚、行動予測、および言語理解において既存の方法を上回るパフォーマンスを示していることを示しています。
これらの発見は、高度なプルーニング技術と LLM を組み合わせて、複雑なシナリオを処理できる効率的で堅牢な自動運転システムを開発できる可能性を強調しています。
コードは公開されます。

要約(オリジナル)

The integration of Large Language Models (LLMs) into autonomous driving systems offers promising enhancements in environmental understanding and decision-making. However, the substantial computational demands of deploying LLMs locally on vehicles render this approach unfeasible for real-world automotive applications. To address this challenge, we introduce OWLed, the Outlier-Weighed Layerwise Pruning for Efficient Autonomous Driving Framework that leverages outlier-weighted layerwise sparsity for model compression. Our method assigns non-uniform sparsity ratios to different layers based on the distribution of outlier features, significantly reducing the model size without the need for fine-tuning. To ensure the compressed model adapts well to autonomous driving tasks, we incorporate driving environment data into both the calibration and pruning processes. Our empirical studies reveal that the encoder component is more sensitive to pruning than the LLM, highlighting its critical role in the system. Experimental results demonstrate that OWLed outperforms existing methods in perception, action prediction, and language understanding while substantially lowering computational requirements. These findings underscore the potential of combining advanced pruning techniques with LLMs to develop efficient and robust autonomous driving systems capable of handling complex scenarios. Code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google