MindBridge: Scalable and Cross-Model Knowledge Editing via Memory-Augmented Modality

要約

知識編集は、大規模な言語モデル（LLM）の知識を効率的かつ正確に更新して、陳腐化を軽減し、エラーを正しくするための手法です。
ただし、ほとんどの既存の方法は特定のモデルに過剰に栄養し、各LLMアップデート中に編集された知識を破棄し、頻繁に再編集する必要があります。
この問題に対処するために、マルチモーダルモデルのモダリティ処理とLLMSの間の低カップリングに触発されたスケーラブルなソリューションであるMindbridgeのクロスモデルの知識の編集の問題を提案し、紹介します。
Mindbridgeは、編集された知識を独立したモダリティとしてエンコードする記憶モダリティの斬新な概念を紹介します。
まず、メモリモダリティのLLMに依存しない事前トレーニングを実行し、次にさまざまなLLMと統合します。
複数のLLMと人気のある知識編集データセットに関する広範な実験は、Mindbridgeが何万もの知識エントリを編集しても優れたパフォーマンスを達成し、異なるLLMに柔軟に適応できることを示しています。
私たちのコードは、https：//github.com/crashbugger/mindbridgeで入手できます。

要約(オリジナル)

Knowledge editing is a technique for efficiently and accurately updating the knowledge of large language models (LLMs) to alleviate obsolescence and correct errors. However, most existing methods overfit to specific models, causing edited knowledge to be discarded during each LLM update and requiring frequent re-editing, which is particularly burdensome in today’s rapidly evolving open-source community. To address this issue, we propose the problem of cross-model knowledge editing and introduce MindBridge, a scalable solution inspired by the low coupling between modality processing and LLMs in multi-modal models. MindBridge introduces the novel concept of memory modality, which encodes edited knowledge as an independent modality. It first performs LLM-agnostic pre-training of the memory modality and then integrates it with various LLMs. Extensive experiments on multiple LLMs and popular knowledge editing datasets demonstrate that MindBridge achieves superior performance even in editing tens of thousands of knowledge entries and can flexibly adapt to different LLMs. Our code is available at https://github.com/CrashBugger/MindBridge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google