SelfFed: Self-Supervised Federated Learning for Data Heterogeneity and Label Scarcity in Medical Images

要約

連合学習パラダイムにおける自己教師付き学習は、ラベル付けされていない孤立したデータに対する協調学習能力のため、産業界と研究界の両方で多くの関心を集めている。しかしながら、自己教師ありに基づく連合学習戦略は、ラベルの希少性と多様なデータ分布、すなわちデータの不均一性による性能劣化に悩まされている。本論文では、データの不均一性とラベルの希少性の問題を克服するために、医用画像のためのSelfFedフレームワークを提案する。SelfFedフレームワークの最初のフェーズでは、Swin Transformerベースのエンコーダを用いた拡張モデリングを分散的に実行する事前学習パラダイムを活用することで、データの不均一性の問題を克服する。ラベルの希少性の問題は、対照的なネットワークと新しい集約戦略を導入する微調整パラダイムによって対処される。公開されている医療画像データセットを用いて実験分析を行い、SelfFedが既存のベースラインや作品と比較して優れた性能を示すことを示す。我々の手法は、非IIDデータセットのRetinaとCOVID-FLデータセットにおいて、最大8.8%と4.1%の改善を達成した。さらに、我々の提案する手法は、少数の（10%）ラベル付きインスタンスで学習した場合でも、既存のベースラインを上回る。

要約(オリジナル)

Self-supervised learning in the federated learning paradigm has been gaining a lot of interest both in industry and research due to the collaborative learning capability on unlabeled yet isolated data. However, self-supervised based federated learning strategies suffer from performance degradation due to label scarcity and diverse data distributions, i.e., data heterogeneity. In this paper, we propose the SelfFed framework for medical images to overcome data heterogeneity and label scarcity issues. The first phase of the SelfFed framework helps to overcome the data heterogeneity issue by leveraging the pre-training paradigm that performs augmentative modeling using Swin Transformer-based encoder in a decentralized manner. The label scarcity issue is addressed by fine-tuning paradigm that introduces a contrastive network and a novel aggregation strategy. We perform our experimental analysis on publicly available medical imaging datasets to show that SelfFed performs better when compared to existing baselines and works. Our method achieves a maximum improvement of 8.8% and 4.1% on Retina and COVID-FL datasets on non-IID datasets. Further, our proposed method outperforms existing baselines even when trained on a few (10%) labeled instances.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL