Selective Attention Federated Learning: Improving Privacy and Efficiency for Clinical Text Classification

要約

フェデレーションラーニング（FL）は、特にヘルスケアアプリケーションで大規模な言語モデル（LLM）をトレーニングする際に、コミュニケーションオーバーヘッドとモデルのプライバシーに関する大きな課題に直面しています。
これらに対処するために、選択的注意層として特定されたトランス層のみを動的に微調整する新しいアプローチである選択的注意フェデレートラーニング（SAFL）を紹介します。
レイヤーの重要性を決定するために注意パターンを使用することにより、Saflはコミュニケーションの帯域幅を大幅に削減し、プライバシーのレジリエンスを拡大します。
臨床NLPベンチマークの評価（I2B2臨床概念抽出と模倣III放電の要約）は、SAFLが集中モデルで競争力のあるパフォーマンスを達成し、コミュニケーションの効率とプライバシーの保存を大幅に改善することを示しています。

要約(オリジナル)

Federated Learning (FL) faces major challenges regarding communication overhead and model privacy when training large language models (LLMs), especially in healthcare applications. To address these, we introduce Selective Attention Federated Learning (SAFL), a novel approach that dynamically fine-tunes only those transformer layers identified as attention-critical. By employing attention patterns to determine layer importance, SAFL significantly reduces communication bandwidth and enhances differential privacy resilience. Evaluations on clinical NLP benchmarks (i2b2 Clinical Concept Extraction and MIMIC-III discharge summaries) demonstrate that SAFL achieves competitive performance with centralized models while substantially improving communication efficiency and privacy preservation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google