Learning Federated Visual Prompt in Null Space for MRI Reconstruction

要約

タイトル：MRI再構成のためのヌル空間を用いたフェデレーテッドビジュアルプロンプトの学習
要約：フェデレーテッドMRI（磁気共鳴画像）再構成は、地域的に複数の病院が協力してローカルデータの集計を行わずに匿名性を保護することができる。しかし、さまざまなMRIプロトコル、不十分なローカルトレーニングデータ、および制限された通信帯域幅によるデータの異質性は、必ずしもグローバルモデルの収束と更新を損なう。この論文では、MRI再構成のためのグローバルプロンプトのヌル空間でフェデレーテッドビジュアルプロンプトを学習する新しいアルゴリズムFedPRを提案する。FedPRは、わずかな学習可能なパラメーターでプロンプトのみを学習および通信する強力な事前トレーニングモデルを採用する新しいフェデレーテッドパラダイムであり、通信コストを大幅に削減し、限られたローカルデータで競争力のあるパフォーマンスを実現する。さらに、データの異質性による重大な忘却を処理するため、FedPRは効率的なフェデレーテッドビジュアルプロンプトを更新し、ローカルプロンプトをグローバルプロンプトの近似ヌル空間に投影することで、サーバーパフォーマンスにおける勾配の干渉を抑制する。フェデレーテッドMRIに関する包括的な実験により、FedPRは、限られたローカルトレーニングデータが与えられた場合に6％未満の通信コストで最先端のFLアルゴリズムを大幅に上回ることがわかった。

要約(オリジナル)

Federated Magnetic Resonance Imaging (MRI) reconstruction enables multiple hospitals to collaborate distributedly without aggregating local data, thereby protecting patient privacy. However, the data heterogeneity caused by different MRI protocols, insufficient local training data, and limited communication bandwidth inevitably impair global model convergence and updating. In this paper, we propose a new algorithm, FedPR, to learn federated visual prompts in the null space of global prompt for MRI reconstruction. FedPR is a new federated paradigm that adopts a powerful pre-trained model while only learning and communicating the prompts with few learnable parameters, thereby significantly reducing communication costs and achieving competitive performance on limited local data. Moreover, to deal with catastrophic forgetting caused by data heterogeneity, FedPR also updates efficient federated visual prompts that project the local prompts into an approximate null space of the global prompt, thereby suppressing the interference of gradients on the server performance. Extensive experiments on federated MRI show that FedPR significantly outperforms state-of-the-art FL algorithms with <6% of communication costs when given the limited amount of local training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI