FLex&Chill: Improving Local Federated Learning Training with Logit Chilling

要約

フェデレーテッド ラーニングは、データの異質性、つまりローカル クライアント上に分散された非 IID トレーニング データによって本質的に妨げられます。
私たちは、ロジット チリング法を活用したフェデレーテッド ラーニングのための新しいモデル トレーニング アプローチ、FLex&Chill を提案します。
広範な評価を通じて、フェデレーテッド ラーニング システムに固有の非 IID データ特性が存在する場合でも、このアプローチによりモデルの収束が促進され、推論精度が向上することが実証されました。
定量的には、実験から、グローバルフェデレーテッドラーニングモデルの収束時間で最大 6 倍の改善、推論精度で最大 3.37% の改善が観察されました。

要約(オリジナル)

Federated learning are inherently hampered by data heterogeneity: non-iid distributed training data over local clients. We propose a novel model training approach for federated learning, FLex&Chill, which exploits the Logit Chilling method. Through extensive evaluations, we demonstrate that, in the presence of non-iid data characteristics inherent in federated learning systems, this approach can expedite model convergence and improve inference accuracy. Quantitatively, from our experiments, we observe up to 6X improvement in the global federated learning model convergence time, and up to 3.37% improvement in inference accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google