Personalized Collaborative Fine-Tuning for On-Device Large Language Models

要約

ローカルデータの利用可能性が限られている中で、デバイス上の自己監視型の共同微調整を行う大規模な言語モデルを探索します。
協調学習コミュニティからインスピレーションを得て、重み類似度ベース、予測類似度ベース、検証パフォーマンスベースという 3 つの異なる信頼重み付き勾配集計スキームを導入します。
通信オーバーヘッドを最小限に抑えるために、低ランク適応 (LoRA) を統合し、LoRA 重み更新のみを交換します。
予測とパフォーマンスのメトリクスによって駆動される当社のプロトコルは、FedAvg メソッドとローカル微調整メソッドの両方を上回っています。これは、より多様なローカル データ分布を伴う現実的なシナリオで特に顕著です。
この結果は、ローカル データセット内の異質性と希少性への対処における私たちのアプローチの有効性を強調しています。

要約(オリジナル)

We explore on-device self-supervised collaborative fine-tuning of large language models with limited local data availability. Taking inspiration from the collaborative learning community, we introduce three distinct trust-weighted gradient aggregation schemes: weight similarity-based, prediction similarity-based and validation performance-based. To minimize communication overhead, we integrate Low-Rank Adaptation (LoRA) and only exchange LoRA weight updates. Our protocols, driven by prediction and performance metrics, surpass both FedAvg and local fine-tuning methods, which is particularly evident in realistic scenarios with more diverse local data distributions. The results underscore the effectiveness of our approach in addressing heterogeneity and scarcity within local datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google