Replica Tree-based Federated Learning using Limited Data

要約

ディープ ニューラル ネットワークは大量のサンプルを使用してトレーニングすると最適なパフォーマンスが得られると考えられており、限られたデータからの学習は機械学習において広く研究されています。
集中トレーニングについてはさまざまな戦略が提案されていますが、小規模なデータセットを使用したフェデレーテッド ラーニングのテーマはほとんど解明されていないままです。
さらに、医療機関が関与するような現実的なシナリオでは、参加するクライアントの数にも制約があります。
この研究では、RepTreeFL という名前の新しいフェデレーテッド ラーニング フレームワークを提案します。
ソリューションの中核となるのはレプリカの概念です。レプリカでは、モデル アーキテクチャをコピーし、ローカル データ分散を混乱させることで、参加している各クライアントを複製します。
私たちのアプローチでは、多様なデータ分布を持つ多数のモデルを集約することで、限られたデータと少数のクライアントから学習することが可能になります。
さらに、クライアント ネットワーク (オリジナルと仮想の両方) の階層構造をレプリカ間のモデルの多様性とともに活用し、レプリカがツリー状に結合され、集約の重みが動的に変化する多様性ベースのツリー集約を導入します。
モデルの不一致に基づいて更新されました。
私たちは、同種モデル アーキテクチャと異種モデル アーキテクチャの両方を使用して、グラフ生成と画像分類 (バイナリとマルチクラス) という 2 つのタスクと 2 種類のデータでメソッドを評価しました。
実験結果は、データとクライアントの両方が制限されている環境における RepTreeFL の有効性と優れたパフォーマンスを示しています。
私たちのコードは https://github.com/basiralab/RepTreeFL で入手できます。

要約(オリジナル)

Learning from limited data has been extensively studied in machine learning, considering that deep neural networks achieve optimal performance when trained using a large amount of samples. Although various strategies have been proposed for centralized training, the topic of federated learning with small datasets remains largely unexplored. Moreover, in realistic scenarios, such as settings where medical institutions are involved, the number of participating clients is also constrained. In this work, we propose a novel federated learning framework, named RepTreeFL. At the core of the solution is the concept of a replica, where we replicate each participating client by copying its model architecture and perturbing its local data distribution. Our approach enables learning from limited data and a small number of clients by aggregating a larger number of models with diverse data distributions. Furthermore, we leverage the hierarchical structure of the client network (both original and virtual), alongside the model diversity across replicas, and introduce a diversity-based tree aggregation, where replicas are combined in a tree-like manner and the aggregation weights are dynamically updated based on the model discrepancy. We evaluated our method on two tasks and two types of data, graph generation and image classification (binary and multi-class), with both homogeneous and heterogeneous model architectures. Experimental results demonstrate the effectiveness and outperformance of RepTreeFL in settings where both data and clients are limited. Our code is available at https://github.com/basiralab/RepTreeFL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google