Rate-My-LoRA: Efficient and Adaptive Federated Model Tuning for Cardiac MRI Segmentation

要約

心血管疾患 (CVD) と心臓の同期不全は、米国の主要な公衆衛生上の問題です。
心臓画像の正確なセグメンテーションは、心臓非同期性の分類に役立つ定量的尺度を抽出するために重要です。
ただし、高い精度を達成するには、多くの場合、さまざまな病院からの大規模なデータセットを一元管理する必要があり、プライバシーの問題により困難な場合があります。
この問題を解決するために、機密情報を交換せずにそのようなデータに対する分散型モデルのトレーニングを可能にするフェデレーテッド ラーニング (FL) が提案されています。
ただし、帯域幅の制限とデータの異質性は、従来の FL アルゴリズムにおける重大な課題として残っています。
この論文では、帯域幅要件を削減しながらモデルのパフォーマンスを向上させる、心臓セグメンテーションのための新しい効率的で適応的な連合学習方法を提案します。
私たちの方法では、低ランク適応 (LoRA) を利用してモデルの重み更新を正規化し、通信オーバーヘッドを削減します。
また、クライアント間のデータの異質性に対処する \mymethod{} 集約手法も提案します。
この手法は、各クライアントの検証精度を比較することによって、さまざまなクライアントからの集計された重みに適応的にペナルティを課し、汎化パフォーマンスの向上と高速な局所適応を可能にします。
公開心臓 MR データセットに対するクライアント内およびクライアント間評価により、他の LoRA ベースの連合学習アプローチよりも本手法が優れていることが実証されました。

要約(オリジナル)

Cardiovascular disease (CVD) and cardiac dyssynchrony are major public health problems in the United States. Precise cardiac image segmentation is crucial for extracting quantitative measures that help categorize cardiac dyssynchrony. However, achieving high accuracy often depends on centralizing large datasets from different hospitals, which can be challenging due to privacy concerns. To solve this problem, Federated Learning (FL) is proposed to enable decentralized model training on such data without exchanging sensitive information. However, bandwidth limitations and data heterogeneity remain as significant challenges in conventional FL algorithms. In this paper, we propose a novel efficient and adaptive federate learning method for cardiac segmentation that improves model performance while reducing the bandwidth requirement. Our method leverages the low-rank adaptation (LoRA) to regularize model weight update and reduce communication overhead. We also propose a \mymethod{} aggregation technique to address data heterogeneity among clients. This technique adaptively penalizes the aggregated weights from different clients by comparing the validation accuracy in each client, allowing better generalization performance and fast local adaptation. In-client and cross-client evaluations on public cardiac MR datasets demonstrate the superiority of our method over other LoRA-based federate learning approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google