Towards Instance-adaptive Inference for Federated Learning

要約

フェデレーション ラーニング (FL) は、ローカル トレーニングを集約することで、複数のクライアントが強力なグローバル モデルを学習できるようにする分散学習パラダイムです。
ただし、グローバル モデルのパフォーマンスは、多くの場合、非 i.i.d. によって妨げられます。
クライアント間での分散が難しく、クライアント間のデータの異質性を軽減するために多大な努力が必要です。
クライアント間のデータの異質性を超えて、クライアント内の異質性は複雑な実世界のデータでも観察され、FL のパフォーマンスを著しく低下させる可能性があることに注意してください。
この論文では、FL フレームワークでインスタンス適応推論を可能にすることで、クライアント内のデータの異質性を処理する新しい FL アルゴリズム、つまり FedIns を紹介します。
巨大なインスタンス適応モデルの代わりに、事前にトレーニングされたモデルに基づくパラメーター効率の高い微調整方法、つまりスケール アンド シフト ディープ フィーチャー (SSF) を利用します。
具体的には、まずクライアントごとに SSF プールをトレーニングし、これらの SSF プールをサーバー側で集約することで、通信コストを低く抑えます。
インスタンス適応推論を有効にするために、特定のインスタンスに対して、最も適合する SSF サブセットをプールから動的に見つけて集約し、インスタンスに指定された適応 SSF を生成します。これにより、クライアント内だけでなくクライアント間の負荷も削減されます。
異質性。
広範な実験により、当社の FedIn は最先端の FL アルゴリズムを上回るパフォーマンスを示すことが示されています。たとえば、Tiny-ImageNet での通信コストが 15\% 未満で、最もパフォーマンスの高いメソッドに対して 6.64\% の改善が見られます。
私たちのコードとモデルは公開されます。

要約(オリジナル)

Federated learning (FL) is a distributed learning paradigm that enables multiple clients to learn a powerful global model by aggregating local training. However, the performance of the global model is often hampered by non-i.i.d. distribution among the clients, requiring extensive efforts to mitigate inter-client data heterogeneity. Going beyond inter-client data heterogeneity, we note that intra-client heterogeneity can also be observed on complex real-world data and seriously deteriorate FL performance. In this paper, we present a novel FL algorithm, i.e., FedIns, to handle intra-client data heterogeneity by enabling instance-adaptive inference in the FL framework. Instead of huge instance-adaptive models, we resort to a parameter-efficient fine-tuning method, i.e., scale and shift deep features (SSF), upon a pre-trained model. Specifically, we first train an SSF pool for each client, and aggregate these SSF pools on the server side, thus still maintaining a low communication cost. To enable instance-adaptive inference, for a given instance, we dynamically find the best-matched SSF subsets from the pool and aggregate them to generate an adaptive SSF specified for the instance, thereby reducing the intra-client as well as the inter-client heterogeneity. Extensive experiments show that our FedIns outperforms state-of-the-art FL algorithms, e.g., a 6.64\% improvement against the top-performing method with less than 15\% communication cost on Tiny-ImageNet. Our code and models will be publicly released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google