FedIN: Federated Intermediate Layers Learning for Model Heterogeneity

要約

タイトル： FedIN：モデルの異質性のためのフェデレーテッド中間層学習

要約：

– Federated learning（FL）は、トレーニングデータをローカルに、そしてプライバシーを保ったまま、エッジデバイスが共同的にグローバル共有モデルを訓練することを可能にする。しかし、FLにおける一般的で非実用的な仮定は、参加するエッジデバイスが必要なリソースを保有し、同一のグローバルモデルアーキテクチャを共有しているということである。
– この研究では、公開データセットを使用しない異種モデルをサポートする新しいFL手法「FedIN（Federated Intermediate Layers Learning）」を提案している。FedINのトレーニングモデルは、抽出器、中間層、および分類器の3つの部分に分かれている。抽出器と分類器のモデルアーキテクチャはすべてのデバイスで同じであり、中間層のアーキテクチャは異種デバイスに応じてリソース容量に従って変化する。
– 特徴から知識を利用するために、私たちはINトレーニングを提案している。これは、他のクライアントからの特徴に基づいて中間層をトレーニングすることである。さらに、INトレーニングとローカルトレーニングの間の競合によって引き起こされる勾配の発散問題を緩和するための凸最適化問題を定式化して解決している。
– 実験結果は、FedINが異種モデル環境で最高のパフォーマンスを発揮し、最先端のアルゴリズムと比較していることを示している。さらに、私たちの抜本的な研究は、INトレーニングの効果的な性質と凸最適化問題の解決策を示している。

要約(オリジナル)

Federated learning (FL) facilitates edge devices to cooperatively train a global shared model while maintaining the training data locally and privately. However, a common but impractical assumption in FL is that the participating edge devices possess the same required resources and share identical global model architecture. In this study, we propose a novel FL method called Federated Intermediate Layers Learning (FedIN), supporting heterogeneous models without utilizing any public dataset. The training models in FedIN are divided into three parts, including an extractor, the intermediate layers, and a classifier. The model architectures of the extractor and classifier are the same in all devices to maintain the consistency of the intermediate layer features, while the architectures of the intermediate layers can vary for heterogeneous devices according to their resource capacities. To exploit the knowledge from features, we propose IN training, training the intermediate layers in line with the features from other clients. Additionally, we formulate and solve a convex optimization problem to mitigate the gradient divergence problem induced by the conflicts between the IN training and the local training. The experiment results show that FedIN achieves the best performance in the heterogeneous model environment compared with the state-of-the-art algorithms. Furthermore, our ablation study demonstrates the effectiveness of IN training and the solution to the convex optimization problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI