FedVCK: Non-IID Robust and Communication-Efficient Federated Learning via Valuable Condensed Knowledge for Medical Image Analysis

要約

フェデレーション ラーニングは、医療機関間の連携にとって有望なソリューションとなっています。
ただし、各機関が所有するデータは非常に異質であり、その分布は常に非独立で同一の分布 (非 IID) となるため、クライアントのドリフトや満足のいくパフォーマンスが得られません。
非 IID 問題を解決しようとする既存のフェデレーテッド ラーニング手法にも関わらず、依然としてわずかな利点を示していますが、頻繁な通信に依存しているため、高コストとプライバシー上の懸念が生じます。
この論文では、新しい連合学習手法である \textbf{Fed}erated learning via \textbf{V}aluable \textbf{C}ondensed \textbf{K}nowledge (FedVCK) を提案します。
限られた通信予算内で効果的に非 IID 問題に取り組むために、凝縮された知識の質を高め、モデルに基づいて最も必要な知識を選択します。
具体的には、クライアント側では、各クライアントの知識を小さなデータセットに凝縮し、潜在的な分布制約を使用して凝縮手順をさらに強化し、高品質の知識の効果的な取得を促進します。
各ラウンド中に、現在のモデルに同化されていない知識を特にターゲットにして凝縮することで、同種の知識の不必要な繰り返しを防ぎ、必要なコミュニケーションの頻度を最小限に抑えます。
サーバー側では、グローバル モデルの更新を支援するために、より多くの監視信号を提供するリレーショナル教師あり対比学習を提案します。
さまざまな医療タスクにわたる包括的な実験により、FedVCK が最先端の方法を上回るパフォーマンスを発揮できることが示され、非 IID の堅牢性と通信効率が高いことが実証されました。

要約(オリジナル)

Federated learning has become a promising solution for collaboration among medical institutions. However, data owned by each institution would be highly heterogeneous and the distribution is always non-independent and identical distribution (non-IID), resulting in client drift and unsatisfactory performance. Despite existing federated learning methods attempting to solve the non-IID problems, they still show marginal advantages but rely on frequent communication which would incur high costs and privacy concerns. In this paper, we propose a novel federated learning method: \textbf{Fed}erated learning via \textbf{V}aluable \textbf{C}ondensed \textbf{K}nowledge (FedVCK). We enhance the quality of condensed knowledge and select the most necessary knowledge guided by models, to tackle the non-IID problem within limited communication budgets effectively. Specifically, on the client side, we condense the knowledge of each client into a small dataset and further enhance the condensation procedure with latent distribution constraints, facilitating the effective capture of high-quality knowledge. During each round, we specifically target and condense knowledge that has not been assimilated by the current model, thereby preventing unnecessary repetition of homogeneous knowledge and minimizing the frequency of communications required. On the server side, we propose relational supervised contrastive learning to provide more supervision signals to aid the global model updating. Comprehensive experiments across various medical tasks show that FedVCK can outperform state-of-the-art methods, demonstrating that it’s non-IID robust and communication-efficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google