Loop Improvement: An Efficient Approach for Extracting Shared Features from Heterogeneous Data without Central Server

要約

フェデレーション ラーニングでは、データの異質性がパフォーマンスに大きな影響を与えます。
典型的な解決策には、これらのパラメータを共有コンポーネントと個人化されたコンポーネントに分離することが含まれます。これはマルチタスク学習にも関連する概念です。
これに対処して、中央サーバーや参加者間のデータ交換を必要とせずに、この分離と特徴抽出を強化する新しい方法である「ループ改善」(LI) を提案します。
私たちの実験では、いくつかの側面で LI の優位性が明らかになりました。パーソナライズされたフェデレーテッド ラーニング環境では、LI はさまざまなシナリオにわたって精度において高度な FedALA アルゴリズムを常に上回っています。
さらに、LI の特徴抽出機能は、すべてのクライアントからのデータを集約するときに達成されるパフォーマンスとほぼ一致します。
グローバル モデルのコンテキストでは、積み重ねられたパーソナライズされたレイヤーと追加のネットワークを備えた LI を採用すると、クライアント データ シナリオを組み合わせた場合と同等の結果が得られます。
さらに、LI の適応性はマルチタスク学習にまで拡張され、タスク間で共通の特徴の抽出が合理化され、同時トレーニングの必要性がなくなります。
このアプローチは、個々のタスクのパフォーマンスを向上させるだけでなく、すべてのタスクを同時にトレーニングする従来のマルチタスク学習方法と同等の精度レベルも達成します。
LI は、さまざまなニューラル ネットワーク モデルと互換性のある、レイヤーごとのエンドツーエンド トレーニングを備えたループ トポロジを統合します。
この論文では、LI の有効性の理論的基礎も詳しく掘り下げ、その潜在的なアプリケーションについての洞察を提供します。
コードは https://github.com/axedge1983/LI にあります。

要約(オリジナル)

In federated learning, data heterogeneity significantly impacts performance. A typical solution involves segregating these parameters into shared and personalized components, a concept also relevant in multi-task learning. Addressing this, we propose ‘Loop Improvement’ (LI), a novel method enhancing this separation and feature extraction without necessitating a central server or data interchange among participants. Our experiments reveal LI’s superiority in several aspects: In personalized federated learning environments, LI consistently outperforms the advanced FedALA algorithm in accuracy across diverse scenarios. Additionally, LI’s feature extractor closely matches the performance achieved when aggregating data from all clients. In global model contexts, employing LI with stacked personalized layers and an additional network also yields comparable results to combined client data scenarios. Furthermore, LI’s adaptability extends to multi-task learning, streamlining the extraction of common features across tasks and obviating the need for simultaneous training. This approach not only enhances individual task performance but also achieves accuracy levels on par with classic multi-task learning methods where all tasks are trained simultaneously. LI integrates a loop topology with layer-wise and end-to-end training, compatible with various neural network models. This paper also delves into the theoretical underpinnings of LI’s effectiveness, offering insights into its potential applications. The code is on https://github.com/axedge1983/LI

arxiv情報

提供元, 利用サービス

arxiv.jp, Google