Multi-Session Budget Optimization for Forward Auction-based Federated Learning

要約

オークションベースのフェデレーション ラーニング (AFL) は、近年重要な研究分野として浮上しています。
FL モデル ユーザー (MU) の一般的な戦略では、トレーニングを開始する前に、FL タスクに必要なデータ所有者 (DO) のチーム全体が集められる必要があると想定しています。
実際には、MU は FL トレーニング プロセスを複数回トリガーできます。
したがって、複数の FL モデル トレーニング セッションを通じて DO を徐々に採用できます。
AFL MU の既存の入札戦略は、そのようなシナリオを処理するように設計されていません。
したがって、マルチセッション AFL の問題は未解決のままです。
この問題に対処するために、フォワード オークションベースのフェデレーテッド ラーニング (MultiBOS-AFL) のためのマルチセッション予算最適化戦略を提案します。
MultiBOS-AFL は、階層型強化学習に基づいて、全体の効用を最大化することを目的として、AFL MU のセッション間の予算ペーシングとセッション内入札を共同で最適化します。
6 つのベンチマーク データセットに対する広範な実験により、7 つの最先端のアプローチを大幅に上回るパフォーマンスが示されています。
平均して、MultiBOS-AFL は、最良のベースラインと比較して、ユーティリティが 12.28% 高く、特定の予算でオークションを通じて取得されたデータが 14.52% 増加し、結果として得られる FL モデルによって達成されるテスト精度が 1.23% 高くなります。
私たちの知る限り、これはマルチセッションフォワードオークションベースの連合学習におけるMU向けに設計された予算ペーシング機能を備えた最初の予算最適化意思決定支援手法です。

要約(オリジナル)

Auction-based Federated Learning (AFL) has emerged as an important research field in recent years. The prevailing strategies for FL model users (MUs) assume that the entire team of the required data owners (DOs) for an FL task must be assembled before training can commence. In practice, an MU can trigger the FL training process multiple times. DOs can thus be gradually recruited over multiple FL model training sessions. Existing bidding strategies for AFL MUs are not designed to handle such scenarios. Therefore, the problem of multi-session AFL remains open. To address this problem, we propose the Multi-session Budget Optimization Strategy for forward Auction-based Federated Learning (MultiBOS-AFL). Based on hierarchical reinforcement learning, MultiBOS-AFL jointly optimizes inter-session budget pacing and intra-session bidding for AFL MUs, with the objective of maximizing the total utility. Extensive experiments on six benchmark datasets show that it significantly outperforms seven state-of-the-art approaches. On average, MultiBOS-AFL achieves 12.28% higher utility, 14.52% more data acquired through auctions for a given budget, and 1.23% higher test accuracy achieved by the resulting FL model compared to the best baseline. To the best of our knowledge, it is the first budget optimization decision support method with budget pacing capability designed for MUs in multi-session forward auction-based federated learning

arxiv情報

提供元, 利用サービス

arxiv.jp, Google