pFedLVM: A Large Vision Model (LVM)-Driven and Latent Feature-Based Personalized Federated Learning Framework in Autonomous Driving

要約

ディープラーニングに基づく自律走行（AD）モデルは、常に領域がシフトする環境におけるデータの不均一性により、しばしば汎化不良を示す。統合学習（FL）はADモデル（FedADシステムとして知られている）の汎化を改善することができるが、従来のモデルは、蓄積された学習データの量が徐々に増加するにつれて、アンダーフィッティングに悩まされることが多い。この問題に対処するために、従来の小さなモデルの代わりに、FedADにラージビジョンモデル（LVM）を採用することは、膨大なデータから表現をより良く学習するための実行可能な選択肢である。(II)各車両にLVMを配備するためのコンピューティングリソースの不足。(III)LVMが共有特徴に焦点を当て、局所的な車両特性を見落とすことによる性能低下。これらの課題を克服するために、我々はpFedLVMを提案する。pFedLVMは、LVM駆動型、潜在特徴ベースのパーソナライズされた統合学習フレームワークである。このアプローチでは、LVMは中央サーバーにのみ配置され、各車両の計算負担を効果的に軽減する。さらに、中央サーバと車両間のやり取りは、LVMパラメータではなく学習された特徴量であるため、通信オーバーヘッドが大幅に削減される。さらに、全参加車両の共有特徴量と各車両の個別特徴量の両方を利用することで、パーソナライズされた学習メカニズムを確立している。これにより、各車両のモデルは、そのパーソナライズされた特性を維持しながら、他の車両から特徴を学習することができ、一般的なFLで学習されたグローバル共有モデルを凌駕する。広範な実験により、pFedLVMが既存の最先端アプローチを凌駕することが実証されている。

要約(オリジナル)

Deep learning-based Autonomous Driving (AD) models often exhibit poor generalization due to data heterogeneity in an ever domain-shifting environment. While Federated Learning (FL) could improve the generalization of an AD model (known as FedAD system), conventional models often struggle with under-fitting as the amount of accumulated training data progressively increases. To address this issue, instead of conventional small models, employing Large Vision Models (LVMs) in FedAD is a viable option for better learning of representations from a vast volume of data. However, implementing LVMs in FedAD introduces three challenges: (I) the extremely high communication overheads associated with transmitting LVMs between participating vehicles and a central server; (II) lack of computing resource to deploy LVMs on each vehicle; (III) the performance drop due to LVM focusing on shared features but overlooking local vehicle characteristics. To overcome these challenges, we propose pFedLVM, a LVM-Driven, Latent Feature-Based Personalized Federated Learning framework. In this approach, the LVM is deployed only on central server, which effectively alleviates the computational burden on individual vehicles. Furthermore, the exchange between central server and vehicles are the learned features rather than the LVM parameters, which significantly reduces communication overhead. In addition, we utilize both shared features from all participating vehicles and individual characteristics from each vehicle to establish a personalized learning mechanism. This enables each vehicle’s model to learn features from others while preserving its personalized characteristics, thereby outperforming globally shared models trained in general FL. Extensive experiments demonstrate that pFedLVM outperforms the existing state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL