Meta Knowledge Condensation for Federated Learning

要約

既存のフェデレーテッド ラーニング パラダイムは、通常、中央ソルバーで分散モデルを広範囲に交換して、より強力なモデルを実現します。
ただし、これは、特にデータ分散が異種である場合に、サーバーと複数のクライアントの間で深刻な通信負荷が発生します。
その結果、現在の連合学習方法では、多くの場合、トレーニングで多数の通信ラウンドが必要になります。
既存のパラダイムとは異なり、連合学習の通信コストを大幅に削減するための代替の視点を導入します。
この作業では、最初に、分散クライアントからメタ知識を抽出するメタ知識表現方法を紹介します。
抽出されたメタ知識は、現在のモデルを改善するために使用できる重要な情報をエンコードします。
トレーニングが進行するにつれて、フェデレーション モデルへのトレーニング サンプルの寄与も変化します。
したがって、サンプルが現在のモデルの更新に適応的に貢献できるようにする動的な重み割り当てメカニズムを導入します。
次に、すべてのアクティブなクライアントからの有益なメタ知識が、モデルの更新のためにサーバーに送信されます。
異なるクライアント間で元のデータを公開することなく、結合されたメタ知識でモデルをトレーニングすると、異質性の問題を大幅に軽減できます。
さらに、データの不均一性をさらに改善するために、ローカル メタ知識抽出の条件付き初期化としてクライアント間でメタ知識を交換します。
広範な実験により、提案された方法の有効性と効率が実証されます。
驚くべきことに、私たちの方法は、制限された通信予算 (つまり 10 ラウンド) の MNIST で最先端技術を大幅に上回っています ($74.07\%$ から $92.95\%$)。

要約(オリジナル)

Existing federated learning paradigms usually extensively exchange distributed models at a central solver to achieve a more powerful model. However, this would incur severe communication burden between a server and multiple clients especially when data distributions are heterogeneous. As a result, current federated learning methods often require a large number of communication rounds in training. Unlike existing paradigms, we introduce an alternative perspective to significantly decrease the communication cost in federate learning. In this work, we first introduce a meta knowledge representation method that extracts meta knowledge from distributed clients. The extracted meta knowledge encodes essential information that can be used to improve the current model. As the training progresses, the contributions of training samples to a federated model also vary. Thus, we introduce a dynamic weight assignment mechanism that enables samples to contribute adaptively to the current model update. Then, informative meta knowledge from all active clients is sent to the server for model update. Training a model on the combined meta knowledge without exposing original data among different clients can significantly mitigate the heterogeneity issues. Moreover, to further ameliorate data heterogeneity, we also exchange meta knowledge among clients as conditional initialization for local meta knowledge extraction. Extensive experiments demonstrate the effectiveness and efficiency of our proposed method. Remarkably, our method outperforms the state-of-the-art by a large margin (from $74.07\%$ to $92.95\%$) on MNIST with a restricted communication budget (i.e. 10 rounds).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google