FedPFT: Federated Proxy Fine-Tuning of Foundation Models

要約

Federated Learning (FL) を通じて下流タスクに Foundation Model (FM) を適応させることは、データ プライバシーと貴重な FM を保護するための有望な戦略として浮上します。
ただし、既存の方法では、サブ FM を FL のクライアントに割り当てることで FM を微調整しますが、調整が不十分であったり、勾配の避けられないエラーが蓄積したりするため、最適なパフォーマンスが得られません。
この論文では、2 つの主要なモジュールによって FL を介してダウンストリーム タスクにおける FM 適応を強化する新しい方法である Federated Proxy Fine-Tuning (FedPFT) を提案します。
まず、サブ FM 構築モジュールはレイヤーごとの圧縮アプローチを採用しており、これらの重要なニューロンを強調することで、すべてのレイヤーにわたる包括的な FM 微調整を容易にします。
第二に、サブ FM アライメント モジュールは、FL 微調整の前と最中にそれぞれ蒸留層レベルとニューロン レベルの 2 段階の蒸留を実行し、理論上の保証の下でサブ FM を FM と正確に位置合わせすることで勾配の誤差を削減します。
一般的に使用される 7 つのデータセット (つまり、4 つのテキストと 3 つのビジョン) に関する実験結果は、FedPFT の優位性を示しています。

要約(オリジナル)

Adapting Foundation Models (FMs) for downstream tasks through Federated Learning (FL) emerges a promising strategy for protecting data privacy and valuable FMs. Existing methods fine-tune FM by allocating sub-FM to clients in FL, however, leading to suboptimal performance due to insufficient tuning and inevitable error accumulations of gradients. In this paper, we propose Federated Proxy Fine-Tuning (FedPFT), a novel method enhancing FMs adaptation in downstream tasks through FL by two key modules. First, the sub-FM construction module employs a layer-wise compression approach, facilitating comprehensive FM fine-tuning across all layers by emphasizing those crucial neurons. Second, the sub-FM alignment module conducts a two-step distillations-layer-level and neuron-level-before and during FL fine-tuning respectively, to reduce error of gradient by accurately aligning sub-FM with FM under theoretical guarantees. Experimental results on seven commonly used datasets (i.e., four text and three vision) demonstrate the superiority of FedPFT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google