Federated Instruction Tuning of LLMs with Domain Coverage Augmentation

要約

Federated Domain-specific structuning (FedDIT) は、限られたクライアント間のプライベート データをさまざまな命令拡張戦略とともに利用し、最終的に特定のドメイン内でモデルのパフォーマンスを向上させます。
現在までのところ、FedDIT に影響を与える要因は不明であり、既存の命令拡張手法は分散環境を考慮せず、主に集中設定に焦点を当てています。
私たちの実験では、データの異質性ではなく、クライアント間のドメイン カバレッジが FedDIT のモデルのパフォーマンスを促進していることが明らかになりました。
これに応えて、私たちは、貪欲なクライアント センターの選択と検索ベースの拡張を通じてドメイン カバレッジを最適化する FedDCA を提案します。
その中心となる貪欲な選択手順は、以前に選択されたセンターとの重複を回避しながら、指導スペースの多様性とカバレッジを最大化するクライアント センターを繰り返し選択します。
これにより、クライアント間のドメイン分散を広範囲かつ効率的にカバーできるようになります。
クライアント側の計算効率とシステムの拡張性を高めるために、FedDCA のバリアントである FedDCA$^*$ は、サーバー側の機能調整を備えた異種エンコーダーを利用します。
コード、医療、金融、数学の各領域にわたる広範な実験により、両方の方法の有効性とプラグアンドプレイ機能が実証されています。
さらに、メモリ抽出攻撃に対するプライバシー保護を分析し、プライバシー漏洩のリスクは公開データの比率の増加とは無関係であるものの、トレーニングが進むにつれて減少または収束することを示しています。

要約(オリジナル)

Federated Domain-specific Instruction Tuning (FedDIT) utilizes limited cross-client private data together with various strategies of instruction augmentation, ultimately boosting model performance within specific domains. To date, the factors affecting FedDIT remain unclear, and existing instruction augmentation methods primarily focus on the centralized setting without considering distributed environments. Our experiments reveal that the cross-client domain coverage, rather than data heterogeneity, drives model performance in FedDIT. In response, we propose FedDCA, which optimizes domain coverage through greedy client center selection and retrieval-based augmentation. At its core, the greedy selection procedure iteratively picks client centers that maximize the diversity and coverage of the instruction space while avoiding redundancy with previously selected centers. This ensures broad yet efficient coverage of the domain distribution across clients. For client-side computational efficiency and system scalability, FedDCA$^*$, the variant of FedDCA, utilizes heterogeneous encoders with server-side feature alignment. Extensive experiments across code, medical, financial, and mathematical domains substantiate the effectiveness of both methods, as well as plug-and-play capability. We further analyze privacy preservation against memory extraction attacks, showing that while privacy leakage risk is independent of augmented public data ratio, it decreases or converges as training progresses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google