Cross-Silo Federated Learning Across Divergent Domains with Iterative Parameter Alignment

要約

プライベート ソースに分散されたデータの集合的な知識から学習することで、強化された一般化機能を備えたニューラル ネットワークを提供できます。
リモート クライアント間で機械学習モデルを共同でトレーニングする方法であるフェデレーション ラーニングは、中央サーバーのオーケストレーションを介してクライアント モデルを組み合わせることでこれを実現します。
しかし、現在のアプローチは 2 つの重大な制限に直面しています。i) クライアント ドメインが十分に異なる場合、収束するのが難しい、ii) 現在の集約技術は各クライアントに対して同一のグローバル モデルを生成します。
この研究では、典型的な連合学習セットアップを再定式化することでこれらの問題に対処します。単一のグローバル モデルを学習するのではなく、共通の目的に合わせてそれぞれ最適化された N 個のモデルを学習します。
これを達成するために、ピアツーピア トポロジで共有されるモデル パラメーターに重み付けされた距離の最小化を適用します。
結果として得られるフレームワークである反復パラメーター アライメントは、クロスサイロ設定に自然に適用され、次の特性を備えています: (i) フェデレーション内の各モデルをグローバルに収束するオプションを備えた、各参加者に固有のソリューション、および (ii)
共同学習設定においてピア間の公平性を引き出すためのオプションの早期停止メカニズム。
これらの特性により、異種のデータセットでトレーニングされたピア モデルから反復学習するための柔軟な新しいフレームワークが提供されます。
この技術は、最先端のアプローチと比較して、さまざまなデータ パーティションで競合する結果を達成できることがわかりました。
さらに、この方法が既存のアプローチが困難な発散ドメイン（つまり、ピア間で互いに素なクラス）に対して堅牢であることを示します。

要約(オリジナル)

Learning from the collective knowledge of data dispersed across private sources can provide neural networks with enhanced generalization capabilities. Federated learning, a method for collaboratively training a machine learning model across remote clients, achieves this by combining client models via the orchestration of a central server. However, current approaches face two critical limitations: i) they struggle to converge when client domains are sufficiently different, and ii) current aggregation techniques produce an identical global model for each client. In this work, we address these issues by reformulating the typical federated learning setup: rather than learning a single global model, we learn N models each optimized for a common objective. To achieve this, we apply a weighted distance minimization to model parameters shared in a peer-to-peer topology. The resulting framework, Iterative Parameter Alignment, applies naturally to the cross-silo setting, and has the following properties: (i) a unique solution for each participant, with the option to globally converge each model in the federation, and (ii) an optional early-stopping mechanism to elicit fairness among peers in collaborative learning settings. These characteristics jointly provide a flexible new framework for iteratively learning from peer models trained on disparate datasets. We find that the technique achieves competitive results on a variety of data partitions compared to state-of-the-art approaches. Further, we show that the method is robust to divergent domains (i.e. disjoint classes across peers) where existing approaches struggle.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google