Can Fair Federated Learning reduce the need for Personalisation?

要約

タイトル：公正なフェデレーテッドラーニングは、個人化の必要性を減らすことができるか？

要約：

– フェデレーテッドラーニングは、データを共有せずにエッジクライアントでMLモデルをトレーニングすることを可能にする。
– しかし、フェデレーテッドモデルのローカルデータに対する性能は異なるため、FLでほとんど利益を得ないクライアントの参加を減らす。
– 公正なFLは、損失が高いクライアントに焦点を当てることで精度の差異を減らす一方、ローカルに微調整することで個人化を提供する。
– 個人化は、FLモデルのパフォーマンスがローカルにトレーニングされたモデルに比べて低い場合に参加のインセンティブを提供する。
– この論文では、2つの公正なFLアルゴリズムを個人化の起点として評価する。
– 結果は、言語タスクではFFLが相対的なパフォーマンスに何の利益も提供しないことを示し、画像タスクでは性能の低いクライアントの数を2倍にしてしまうことを示す。
– 代わりに、個人化に注意を払ったフェデレーテッドラーニング（PaFL）を提案し、トレーニング中に個人化の損失を予防的に使用する方法を示している。
– 私たちの技術は、言語タスクの低下するクライアントの数を50％削減し、画像タスクの下降するクライアントの数を2倍にする代わりに減少させることを示している。
– そのため、evidence indicates that it may allow a broader set of devices to benefit from FL and represents a promising avenue for future experimentation and theoretical analysis.（FLの恩恵を広範囲のデバイスが受けることができ、将来の実験と理論的分析のための有望なアプローチを示唆している）

要約(オリジナル)

Federated Learning (FL) enables training ML models on edge clients without sharing data. However, the federated model’s performance on local data varies, disincentivising the participation of clients who benefit little from FL. Fair FL reduces accuracy disparity by focusing on clients with higher losses while personalisation locally fine-tunes the model. Personalisation provides a participation incentive when an FL model underperforms relative to one trained locally. For situations where the federated model provides a lower accuracy than a model trained entirely locally by a client, personalisation improves the accuracy of the pre-trained federated weights to be similar to or exceed those of the local client model. This paper evaluates two Fair FL (FFL) algorithms as starting points for personalisation. Our results show that FFL provides no benefit to relative performance in a language task and may double the number of underperforming clients for an image task. Instead, we propose Personalisation-aware Federated Learning (PaFL) as a paradigm that pre-emptively uses personalisation losses during training. Our technique shows a 50% reduction in the number of underperforming clients for the language task while lowering the number of underperforming clients in the image task instead of doubling it. Thus, evidence indicates that it may allow a broader set of devices to benefit from FL and represents a promising avenue for future experimentation and theoretical analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI