SemiSFL: Split Federated Learning on Unlabeled and Non-IID Data

要約

Federated Learning (FL) は、複数のクライアントがネットワーク エッジでプライベート データに対して機械学習モデルを共同でトレーニングできるようにするために登場しました。
ただし、リソースに制約のあるデバイス上で大規模なモデルをトレーニングして展開するのは困難です。
幸いなことに、Split Federated Learning (SFL) は、クライアントの計算や通信の負担を軽減することで実現可能なソリューションを提供します。
ただし、既存の SFL 作品では、クライアント上に十分なラベル付きデータが存在することを前提としていることが多く、これは通常は非現実的です。
さらに、データの非 IID 性は、効率的なモデル トレーニングを確保する上で別の課題を引き起こします。
私たちの知る限り、上記の 2 つの問題は SFL では同時に対処されていません。
ここでは、ラベルなしおよび非 IID クライアント データを使用して SFL を実行するクラスタリング正則化を組み込んだ、SemiSFL と呼ばれる新しい半教師あり SFL システムを提案します。
さらに、モデルの収束に関する理論的および実験的調査により、ラベル付きデータとラベルなしデータに対する一貫性のないトレーニング プロセスがクラスタリング正則化の有効性に影響を与えることが明らかになりました。
トレーニングの不一致を軽減するために、トレーニングのパフォーマンスを向上させるために、グローバルな更新頻度を動的に調整するアルゴリズムを開発しました。
ベンチマーク モデルとデータセットに関する広範な実験により、当社のシステムはトレーニング時間を 3.8 倍高速化し、目標精度を達成しながら通信コストを約 70.3% 削減し、非 IID シナリオでは精度で最大 5.8% の向上を達成することが示されました。
最先端のベースラインとの比較。

要約(オリジナル)

Federated Learning (FL) has emerged to allow multiple clients to collaboratively train machine learning models on their private data at the network edge. However, training and deploying large-scale models on resource-constrained devices is challenging. Fortunately, Split Federated Learning (SFL) offers a feasible solution by alleviating the computation and/or communication burden on clients. However, existing SFL works often assume sufficient labeled data on clients, which is usually impractical. Besides, data non-IIDness poses another challenge to ensure efficient model training. To our best knowledge, the above two issues have not been simultaneously addressed in SFL. Herein, we propose a novel Semi-supervised SFL system, termed SemiSFL, which incorporates clustering regularization to perform SFL with unlabeled and non-IID client data. Moreover, our theoretical and experimental investigations into model convergence reveal that the inconsistent training processes on labeled and unlabeled data have an influence on the effectiveness of clustering regularization. To mitigate the training inconsistency, we develop an algorithm for dynamically adjusting the global updating frequency, so as to improve training performance. Extensive experiments on benchmark models and datasets show that our system provides a 3.8x speed-up in training time, reduces the communication cost by about 70.3% while reaching the target accuracy, and achieves up to 5.8% improvement in accuracy under non-IID scenarios compared to the state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google