Task-Agnostic Federated Learning

要約

医療画像の分野では、さまざまな機関からの大規模なデータセットを活用することが、正確な深層学習モデルを開発するために重要ですが、プライバシーの問題によりデータ共有が妨げられることがよくあります。
フェデレーション ラーニング (FL) は、共同学習を促進しながらプライバシーを保護するための優れたソリューションとして浮上しています。
ただし、現実世界のシナリオでの適用は、タスクとデータの異質性、ラベルの不足、非同一分散 (非 IID) データ、計算上の変動など、いくつかの障害に直面します。現実世界では、医療機関はそのようなことを望まないかもしれません。
自分たちのタスクを FL サーバーに公開し、ネットワーク外の機関が目に見えないタスクを抱えて進行中の連合システムに参加したいと考えている一般化の課題を解決します。
この研究は、自己教師あり FL フレームワークを適応させることにより、目に見えないタスクに関するタスク非依存性および一般化問題に対処します。
自己教師あり事前トレーニング用のコンセンサス特徴エンコーダーとして Vision Transformer (ViT) を利用し、初期ラベルは不要で、多様なデータセットとタスクにわたって効果的な表現学習を可能にするフレームワークです。
さまざまな現実世界の非 IID 医用画像データセットを使用した広範な評価により、当社のアプローチの有効性が検証され、集中型アプローチに通常必要とされるトレーニング データのわずか 5 ％で F1 精度の 90 ％を維持し、外部環境への優れた適応性を示しています。
-配布タスク。
この結果は、フェデレーテッド ラーニング アーキテクチャがマルチタスク基盤モデリングへの潜在的なアプローチとなり得ることを示しています。

要約(オリジナル)

In the realm of medical imaging, leveraging large-scale datasets from various institutions is crucial for developing precise deep learning models, yet privacy concerns frequently impede data sharing. federated learning (FL) emerges as a prominent solution for preserving privacy while facilitating collaborative learning. However, its application in real-world scenarios faces several obstacles, such as task & data heterogeneity, label scarcity, non-identically distributed (non-IID) data, computational vaiation, etc. In real-world, medical institutions may not want to disclose their tasks to FL server and generalization challenge of out-of-network institutions with un-seen task want to join the on-going federated system. This study address task-agnostic and generalization problem on un-seen tasks by adapting self-supervised FL framework. Utilizing Vision Transformer (ViT) as consensus feature encoder for self-supervised pre-training, no initial labels required, the framework enabling effective representation learning across diverse datasets and tasks. Our extensive evaluations, using various real-world non-IID medical imaging datasets, validate our approach’s efficacy, retaining 90\% of F1 accuracy with only 5\% of the training data typically required for centralized approaches and exhibiting superior adaptability to out-of-distribution task. The result indicate that federated learning architecture can be a potential approach toward multi-task foundation modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google