FedFMS: Exploring Federated Foundation Models for Medical Image Segmentation

要約

医療画像のセグメンテーションは臨床診断にとって重要です。
Segmentation Anything Model (SAM) は、視覚的セグメンテーションの強力な基礎モデルとして機能し、医療画像のセグメンテーションに適合させることができます。
ただし、医療画像データには通常、プライバシーに配慮した情報が含まれているため、一元的なストレージと共有で基礎モデルをトレーニングすることが困難になります。
現在までのところ、フェデレーテッド ラーニング フレームワーク内での医療画像の展開に合わせて調整された基盤モデルはほとんどなく、セグメンテーションのパフォーマンスやコミュニケーションとトレーニングの効率は未解明のままです。
これらの問題に対応して、私たちは医用画像セグメンテーション用の Federated Foundation モデル (FedFMS) を開発しました。これには、Federated SAM (FedSAM) と、医療 SAM アダプターを備えた通信およびトレーニング効率の高い Federated SAM (FedMSA) が含まれています。
FedFMS のさまざまな構成にわたる集中トレーニングと連合学習の間のパフォーマンスの差異を調査するために、さまざまなデータセットに対する包括的な実験が実施されます。
実験の結果、FedFMS はプライバシーを維持しながら、集中トレーニング方法でトレーニングされたモデルと同等のパフォーマンスを達成できることが明らかになりました。
さらに、FedMSA は、コミュニケーションとトレーニングの効率を向上させる可能性を実証しました。
モデル実装コードは https://github.com/LIU-YUXI/FedFMS で入手できます。

要約(オリジナル)

Medical image segmentation is crucial for clinical diagnosis. The Segmentation Anything Model (SAM) serves as a powerful foundation model for visual segmentation and can be adapted for medical image segmentation. However, medical imaging data typically contain privacy-sensitive information, making it challenging to train foundation models with centralized storage and sharing. To date, there are few foundation models tailored for medical image deployment within the federated learning framework, and the segmentation performance, as well as the efficiency of communication and training, remain unexplored. In response to these issues, we developed Federated Foundation models for Medical image Segmentation (FedFMS), which includes the Federated SAM (FedSAM) and a communication and training-efficient Federated SAM with Medical SAM Adapter (FedMSA). Comprehensive experiments on diverse datasets are conducted to investigate the performance disparities between centralized training and federated learning across various configurations of FedFMS. The experiments revealed that FedFMS could achieve performance comparable to models trained via centralized training methods while maintaining privacy. Furthermore, FedMSA demonstrated the potential to enhance communication and training efficiency. Our model implementation codes are available at https://github.com/LIU-YUXI/FedFMS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google