Contribution Evaluation in Federated Learning: Examining Current Approaches

要約

Federated Learning (FL) では、データのプライバシーとガバナンスを維持しながら、エンティティが協力してモデルをトレーニングしたいケースへの関心が高まっています。
フロリダ州では、プライベートで異種混合の可能性のあるデータとコンピューティング リソースを持つクライアントが集まり、生データをロケールから出さずに共通モデルをトレーニングします。
代わりに、参加者はローカル モデルの更新を共有することで貢献しますが、当然ながら品質は異なります。
これらの貢献の価値を定量的に評価することは、貢献評価 (CE) 問題と呼ばれます。
当社は、各顧客の公正価値を効率的に計算するために、基礎となる数学的枠組みから現在の CE アプローチをレビューします。
さらに、MNIST と CIFAR-10 上で、最も有望な最先端のアプローチと、導入した新しいアプローチのいくつかをベンチマークし、それらの違いを示します。
公平で効率的な CE 手法を設計することは、FL システム設計全体のほんの一部ではありますが、FL を主流に採用することと同じです。

要約(オリジナル)

Federated Learning (FL) has seen increasing interest in cases where entities want to collaboratively train models while maintaining privacy and governance over their data. In FL, clients with private and potentially heterogeneous data and compute resources come together to train a common model without raw data ever leaving their locale. Instead, the participants contribute by sharing local model updates, which, naturally, differ in quality. Quantitatively evaluating the worth of these contributions is termed the Contribution Evaluation (CE) problem. We review current CE approaches from the underlying mathematical framework to efficiently calculate a fair value for each client. Furthermore, we benchmark some of the most promising state-of-the-art approaches, along with a new one we introduce, on MNIST and CIFAR-10, to showcase their differences. Designing a fair and efficient CE method, while a small part of the overall FL system design, is tantamount to the mainstream adoption of FL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google