Open-Source LLM-Driven Federated Transformer for Predictive IoV Management

要約

インターネットの車両（IOV）エコシステム内の接続された車両の急増は、スケーラブル、リアルタイム、プライバシーを提供するトラフィック管理を確保する上で重要な課題をもたらします。
既存の集中化されたIOVソリューションは、多くの場合、高レイテンシ、限られたスケーラビリティ、および独自の人工知能（AI）モデルへの依存に悩まされ、特にダイナミックおよびプライバシーに敏感な環境において、広範な展開に対する大きな障壁を生み出します。
一方、車両システムに大規模な言語モデル（LLMS）を統合することは、特に迅速な最適化とフェデレートコンテキストでの効果的な利用に関しては、目立たないままです。
これらの課題に対処するために、予測IOV管理のためにオープンソースLLMを活用する新しいフレームワークであるフェデレーションされた迅速な最適化トラフィックトランス（FPOTT）を提案します。
Fpottは、軌道予測を強化するためにテキストプロンプトを繰り返し洗練する動的なプロンプト最適化メカニズムを導入します。
このアーキテクチャは、クラウドベースのLLMSとのリアルタイム推論のために軽量エッジモデルを組み合わせて、グローバルなインテリジェンスを保持するための軽量エッジモデルを組み合わせて、デュアル層のフェデレーション学習パラダイムを採用しています。
変圧器駆動型の合成データジェネレーターは、次世代シミュレーション（NGSIM）形式で多様で忠実なトラフィックシナリオを使用したトレーニングを強化するために組み込まれています。
広範な評価は、Eleutherai Pythia-1Bを利用するFpottが、合成データセットの高性能を維持しながら、実際のデータで99.86％の予測精度を達成することを示しています。
これらの結果は、安全で適応性のあるスケーラブルなIOV管理を可能にするオープンスフォースLLMの可能性を強調し、スマートモビリティエコシステムにおける独自のソリューションの有望な代替品を提供します。

要約(オリジナル)

The proliferation of connected vehicles within the Internet of Vehicles (IoV) ecosystem presents critical challenges in ensuring scalable, real-time, and privacy-preserving traffic management. Existing centralized IoV solutions often suffer from high latency, limited scalability, and reliance on proprietary Artificial Intelligence (AI) models, creating significant barriers to widespread deployment, particularly in dynamic and privacy-sensitive environments. Meanwhile, integrating Large Language Models (LLMs) in vehicular systems remains underexplored, especially concerning prompt optimization and effective utilization in federated contexts. To address these challenges, we propose the Federated Prompt-Optimized Traffic Transformer (FPoTT), a novel framework that leverages open-source LLMs for predictive IoV management. FPoTT introduces a dynamic prompt optimization mechanism that iteratively refines textual prompts to enhance trajectory prediction. The architecture employs a dual-layer federated learning paradigm, combining lightweight edge models for real-time inference with cloud-based LLMs to retain global intelligence. A Transformer-driven synthetic data generator is incorporated to augment training with diverse, high-fidelity traffic scenarios in the Next Generation Simulation (NGSIM) format. Extensive evaluations demonstrate that FPoTT, utilizing EleutherAI Pythia-1B, achieves 99.86% prediction accuracy on real-world data while maintaining high performance on synthetic datasets. These results underscore the potential of open-source LLMs in enabling secure, adaptive, and scalable IoV management, offering a promising alternative to proprietary solutions in smart mobility ecosystems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google