FLEKE: Federated Locate-then-Edit Knowledge Editing

要約

Locate-Then-Edit Knowledge Editing（Leke）は、完全な再訓練なしで大規模な言語モデル（LLM）を更新するための重要な手法です。
ただし、既存の方法は、単一ユーザーの設定を想定し、現実世界の多クライアントシナリオでは非効率になります。このシナリオでは、分散型組織（病院、金融機関など）が重複する知識を独立して更新し、冗長なメディエーター知識ベクター（MKV）のコンピューティングとプライバシーにつながります。
懸念事項。
これらの課題に対処するために、複数のクライアントがプライバシーを維持し、計算オーバーヘッドを削減しながら、複数のクライアントがレケを共同で実行できるようにする新しいタスクであるFederated Locate-Then-Edit Knowledge Editing（Fleke）を導入します。
これを達成するために、MKVの選択と再利用を最適化する2段階のフレームワークであるFedEditを提案します。
最初の段階では、クライアントはLekeを地元で適用し、計算されたMKVをアップロードします。
第2段階では、サーバーベースのMKV共有のみに依存するのではなく、Flekeを使用すると、COSINEの類似性に基づいて関連するMKVを取得し、知識の再編集を可能にし、冗長な計算を最小限に抑えます。
2つのベンチマークデータセットでの実験結果は、FedEditが非拡張されたLekeのパフォーマンスの96％以上を保持しながら、FEDAVGベースのベースラインを約2倍に上回ることを示しています。
それに加えて、MemitはFrekeDitのフレームワークを使用して、FlekeタスクでPMETよりも一貫してパフォーマンスを発揮していることがわかります。
私たちのコードは、https：//github.com/zongkaiz/flekeで入手できます。

要約(オリジナル)

Locate-then-Edit Knowledge Editing (LEKE) is a key technique for updating large language models (LLMs) without full retraining. However, existing methods assume a single-user setting and become inefficient in real-world multi-client scenarios, where decentralized organizations (e.g., hospitals, financial institutions) independently update overlapping knowledge, leading to redundant mediator knowledge vector (MKV) computations and privacy concerns. To address these challenges, we introduce Federated Locate-then-Edit Knowledge Editing (FLEKE), a novel task that enables multiple clients to collaboratively perform LEKE while preserving privacy and reducing computational overhead. To achieve this, we propose FedEdit, a two-stage framework that optimizes MKV selection and reuse. In the first stage, clients locally apply LEKE and upload the computed MKVs. In the second stage, rather than relying solely on server-based MKV sharing, FLEKE allows clients retrieve relevant MKVs based on cosine similarity, enabling knowledge re-edit and minimizing redundant computations. Experimental results on two benchmark datasets demonstrate that FedEdit retains over 96% of the performance of non-federated LEKE while significantly outperforming a FedAvg-based baseline by approximately twofold. Besides, we find that MEMIT performs more consistently than PMET in the FLEKE task with our FedEdit framework. Our code is available at https://github.com/zongkaiz/FLEKE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google