FedIN: Federated Intermediate Layers Learning for Model Heterogeneity

要約

タイトル：FedIN：モデルの異質性のためのフェデレーテッド中間層学習

要約：

– Federated Learning（FL）は、エッジデバイスがトレーニングデータをローカルに安全に保持しながら、グローバル共有モデルの協力的なトレーニングを可能にする。FLで一般的ながら実証不可能な仮定は、参加するエッジデバイスが必要なリソースを持っており、同一のグローバルモデルアーキテクチャを共有していることである。
– この研究では、パブリックデータセットを使用せずに、異質なモデルをサポートする新しいFLメソッドFederated Intermediate Layers Learning（FedIN）を提案する。
– FedINのトレーニングモデルは、エクストラクタ、中間層、および分類器の3つの部分に分かれている。エクストラクタと分類器のモデルアーキテクチャはすべてのデバイスで同じであり、中間層のアーキテクチャはリソース容量によって異なるため、異質なデバイスに対応できる。
– 特徴から知識を利用するために、INトレーニングを提案し、他のクライアントからの特徴に合わせて中間層をトレーニングする。また、INトレーニングとローカルトレーニングの間の衝突によって引き起こされる勾配の発散問題を緩和するために、凸最適化問題を定式化して解決する。
– 実験結果は、FedINが最先端のアルゴリズムと比較して、異質なモデル環境で最高のパフォーマンスを発揮することを示している。さらに、私たちの畳み込み学習の有効性と凸最適化問題への解決策を示す対照実験を行いました。

要約(オリジナル)

Federated learning (FL) facilitates edge devices to cooperatively train a global shared model while maintaining the training data locally and privately. However, a common but impractical assumption in FL is that the participating edge devices possess the same required resources and share identical global model architecture. In this study, we propose a novel FL method called Federated Intermediate Layers Learning (FedIN), supporting heterogeneous models without utilizing any public dataset. The training models in FedIN are divided into three parts, including an extractor, the intermediate layers, and a classifier. The model architectures of the extractor and classifier are the same in all devices to maintain the consistency of the intermediate layer features, while the architectures of the intermediate layers can vary for heterogeneous devices according to their resource capacities. To exploit the knowledge from features, we propose IN training, training the intermediate layers in line with the features from other clients. Additionally, we formulate and solve a convex optimization problem to mitigate the gradient divergence problem induced by the conflicts between the IN training and the local training. The experiment results show that FedIN achieves the best performance in the heterogeneous model environment compared with the state-of-the-art algorithms. Furthermore, our ablation study demonstrates the effectiveness of IN training and the solution to the convex optimization problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI