Adaptive incentive for cross-silo federated learning: A multi-agent reinforcement learning approach

要約

クロスサイロ連合学習 (FL) は、組織 (金融機関や医療機関など) が分離されたデータでグローバル モデルをトレーニングできるようにする典型的な FL です。
合理的なインセンティブは、組織がデータを提供するよう奨励するための鍵です。
ただし、クロスサイロ FL のインセンティブに関する既存の作業には、環境ダイナミクス (たとえば、トレーニングされたグローバル モデルの精度や、トレーニング プロセス中に不確実なクライアントが所有するデータ) の考慮が欠けています。
さらに、彼らのほとんどは、組織が個人情報を共有していると想定していますが、これは非現実的です。
これらの制限を克服するために、クロスサイロ FL の新しい適応メカニズムを提案し、実際の動的なトレーニング環境で長期的な利益を最大化するために組織にデータを提供するよう奨励します。
このメカニズムは、マルチエージェント強化学習に基づいており、組織の個人情報なしで潜在的なゲームの履歴から最適に近いデータ貢献戦略を学習します。
実験は、私たちのメカニズムが適応インセンティブを達成し、組織の長期的な見返りを効果的に改善することを示しています。

要約(オリジナル)

Cross-silo federated learning (FL) is a typical FL that enables organizations(e.g., financial or medical entities) to train global models on isolated data. Reasonable incentive is key to encouraging organizations to contribute data. However, existing works on incentivizing cross-silo FL lack consideration of the environmental dynamics (e.g., precision of the trained global model and data owned by uncertain clients during the training processes). Moreover, most of them assume that organizations share private information, which is unrealistic. To overcome these limitations, we propose a novel adaptive mechanism for cross-silo FL, towards incentivizing organizations to contribute data to maximize their long-term payoffs in a real dynamic training environment. The mechanism is based on multi-agent reinforcement learning, which learns near-optimal data contribution strategy from the history of potential games without organizations’ private information. Experiments demonstrate that our mechanism achieves adaptive incentive and effectively improves the long-term payoffs for organizations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google