FedRare: Federated Learning with Intra- and Inter-Client Contrast for Effective Rare Disease Classification

要約

さまざまな医療機関やクライアントがデータのプライバシーを漏らさずに共同でモデルをトレーニングできるようにする連合学習（FL）は、最近、医用画像コミュニティで大きな注目を集めています。
クライアント間のデータの不均一性は徹底的に研究されていますが、希少疾患の存在によるクラスの不均衡の問題はまだ十分に調査されていません。
この論文では、特に希少疾患の存在を伴うデータの不均一性を処理する際の医用画像分類のための新しいFLフレームワークFedRareを提案します。
FedRareでは、各クライアントがモデルをローカルでトレーニングして、クライアント内の監視された対照学習を介して分類するための高度に分離可能な潜在的特徴を抽出します。
希少疾患に関する限られたデータを考慮して、増強のためのポジティブサンプルキューを構築します（つまり、データの再サンプリング）。
FedRareのサーバーは、クライアントから潜在機能を収集し、クライアントに返送されるガイダンスとして最も信頼性の高い潜在機能を自動的に選択します。
次に、各クライアントは、クライアント間の対照的な損失によって共同でトレーニングされ、その潜在機能をフルクラスのフェデレーション潜在機能に合わせます。
このようにして、クライアント間のパラメーター/機能の差異が効果的に最小化され、収束とパフォーマンスの向上につながります。
皮膚病変診断のために公開されているデータセットの実験結果は、FedRareの優れたパフォーマンスを示しています。
4つのクライアントに希少疾患サンプルがない10クライアントのフェデレーション設定では、FedRareは、ベースラインフレームワークFedAvgおよび最先端のアプローチFedIRMと比較して、バランスの取れた精度でそれぞれ平均9.60％および5.90％の増加を達成します。
臨床シナリオにおける希少疾患のボードの存在を考慮すると、FedRareは医用画像分類のための将来のFLフレームワーク設計に役立つと信じています。
このペーパーのソースコードは、https：//github.com/wnn2000/FedRareで公開されています。

要約(オリジナル)

Federated learning (FL), enabling different medical institutions or clients to train a model collaboratively without data privacy leakage, has drawn great attention in medical imaging communities recently. Though inter-client data heterogeneity has been thoroughly studied, the class imbalance problem due to the existence of rare diseases still is under-explored. In this paper, we propose a novel FL framework FedRare for medical image classification especially on dealing with data heterogeneity with the existence of rare diseases. In FedRare, each client trains a model locally to extract highly-separable latent features for classification via intra-client supervised contrastive learning. Considering the limited data on rare diseases, we build positive sample queues for augmentation (i.e. data re-sampling). The server in FedRare would collect the latent features from clients and automatically select the most reliable latent features as guidance sent back to clients. Then, each client is jointly trained by an inter-client contrastive loss to align its latent features to the federated latent features of full classes. In this way, the parameter/feature variances across clients are effectively minimized, leading to better convergence and performance improvements. Experimental results on the publicly-available dataset for skin lesion diagnosis demonstrate FedRare’s superior performance. Under the 10-client federated setting where four clients have no rare disease samples, FedRare achieves an average increase of 9.60% and 5.90% in balanced accuracy compared to the baseline framework FedAvg and the state-of-the-art approach FedIRM respectively. Considering the board existence of rare diseases in clinical scenarios, we believe FedRare would benefit future FL framework design for medical image classification. The source code of this paper is publicly available at https://github.com/wnn2000/FedRare.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google