pFedLVM: A Large Vision Model (LVM)-Driven and Latent Feature-Based Personalized Federated Learning Framework in Autonomous Driving

要約

ディープ ラーニング ベースの自動運転 (AD) モデルは、ドメインが常に変化する環境におけるデータの異質性により、一般化が不十分になることがよくあります。
Federated Learning (FL) は AD モデル (FedAD システムとして知られる) の一般化を改善する可能性がありますが、従来のモデルは、蓄積されたトレーニング データの量が徐々に増加するにつれて、アンダーフィッティングに苦戦することがよくあります。
この問題に対処するには、従来の小さなモデルの代わりに、FedAD でラージ ビジョン モデル (LVM) を採用することが、膨大な量のデータから表現をより適切に学習するための実行可能なオプションです。
ただし、FedAD で LVM を実装すると、次の 3 つの課題が生じます。(I) 参加車両と中央サーバー間の LVM の送信に関連する通信オーバーヘッドが非常に高い。
(II) 各車両に LVM を展開するためのコンピューティング リソースが不足している。
(III) LVM が共通機能に重点を置き、ローカル車両の特性を無視したことによるパフォーマンスの低下。
これらの課題を克服するために、LVM 主導の潜在機能ベースのパーソナライズされたフェデレーテッド ラーニング フレームワークである pFedLVM を提案します。
このアプローチでは、LVM は中央サーバーにのみ展開され、個々の車両の計算負荷が効果的に軽減されます。
さらに、中央サーバーと車両間の交換は、LVM パラメーターではなく学習された機能であるため、通信オーバーヘッドが大幅に削減されます。
さらに、すべての参加車両の共通機能と各車両の個別の特性の両方を活用して、パーソナライズされた学習メカニズムを確立します。
これにより、各車両のモデルは、パーソナライズされた特性を維持しながら他の車両のモデルから機能を学習できるため、一般的な FL でトレーニングされたグローバルに共有されるモデルよりも優れたパフォーマンスを発揮します。
広範な実験により、pFedLVM が既存の最先端のアプローチよりも優れていることが実証されました。

要約(オリジナル)

Deep learning-based Autonomous Driving (AD) models often exhibit poor generalization due to data heterogeneity in an ever domain-shifting environment. While Federated Learning (FL) could improve the generalization of an AD model (known as FedAD system), conventional models often struggle with under-fitting as the amount of accumulated training data progressively increases. To address this issue, instead of conventional small models, employing Large Vision Models (LVMs) in FedAD is a viable option for better learning of representations from a vast volume of data. However, implementing LVMs in FedAD introduces three challenges: (I) the extremely high communication overheads associated with transmitting LVMs between participating vehicles and a central server; (II) lack of computing resource to deploy LVMs on each vehicle; (III) the performance drop due to LVM focusing on shared features but overlooking local vehicle characteristics. To overcome these challenges, we propose pFedLVM, a LVM-Driven, Latent Feature-Based Personalized Federated Learning framework. In this approach, the LVM is deployed only on central server, which effectively alleviates the computational burden on individual vehicles. Furthermore, the exchange between central server and vehicles are the learned features rather than the LVM parameters, which significantly reduces communication overhead. In addition, we utilize both shared features from all participating vehicles and individual characteristics from each vehicle to establish a personalized learning mechanism. This enables each vehicle’s model to learn features from others while preserving its personalized characteristics, thereby outperforming globally shared models trained in general FL. Extensive experiments demonstrate that pFedLVM outperforms the existing state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google