FedEMA: Federated Exponential Moving Averaging with Negative Entropy Regularizer in Autonomous Driving

要約

ストリートシーンのセマンティック理解（S3Uと呼ばれる）は、自律運転（AD）車両にとって重要だが複雑なタスクです。
それらの推論モデルは、通常、ドメインシフトのために不十分な一般化に直面しています。
Federated Learning（FL）は、プライバシーを提供する分散学習を通じてADモデルの一般化を強化するための有望なパラダイムとして浮上しています。
ただし、これらのFL ADモデルは、動的に進化する環境に展開された場合、継続的な適応が歴史的知識の急激な侵食を引き起こす場合に、重大な時間的壊滅的な忘却に直面しています。
このホワイトペーパーでは、連邦政府の指数移動平均（FEDEMA）を提案します。これは、2つの統合的な革新を通じてこの課題に対処する新しいフレームワークです。
（ii）EMAで導入された時間パターンへのFLモデルの過剰適合を防ぐための車両側の負のエントロピー正規化。
2つの戦略により、フェデマにモデルの一般化と適応性のバランスをとる二重客観的な最適化を強化します。
さらに、提案されたフェデマに対して理論的収束分析を実施します。
Cityscapes DatasetとCamvidデータセットの両方での広範な実験は、既存のアプローチに対するFedemaの優位性を示しており、7.12％の平均交差点（MIOU）を示しています。

要約(オリジナル)

Street Scene Semantic Understanding (denoted as S3U) is a crucial but complex task for autonomous driving (AD) vehicles. Their inference models typically face poor generalization due to domain-shift. Federated Learning (FL) has emerged as a promising paradigm for enhancing the generalization of AD models through privacy-preserving distributed learning. However, these FL AD models face significant temporal catastrophic forgetting when deployed in dynamically evolving environments, where continuous adaptation causes abrupt erosion of historical knowledge. This paper proposes Federated Exponential Moving Average (FedEMA), a novel framework that addresses this challenge through two integral innovations: (I) Server-side model’s historical fitting capability preservation via fusing current FL round’s aggregation model and a proposed previous FL round’s exponential moving average (EMA) model; (II) Vehicle-side negative entropy regularization to prevent FL models’ possible overfitting to EMA-introduced temporal patterns. Above two strategies empower FedEMA a dual-objective optimization that balances model generalization and adaptability. In addition, we conduct theoretical convergence analysis for the proposed FedEMA. Extensive experiments both on Cityscapes dataset and Camvid dataset demonstrate FedEMA’s superiority over existing approaches, showing 7.12% higher mean Intersection-over-Union (mIoU).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google