Stable Knowledge Editing in Large Language Models

要約

大規模な言語モデルの効率的な知識編集は、古くなった情報を置き換えたり、専門知識を大規模に組み込んだりするために非常に重要です。
ただし、以前の方法では、知識がモデル内で局所化され分離されていることが暗黙的に想定されており、この前提はモデル知識の相互接続された性質を過度に単純化しています。
ローカリゼーションの前提は不完全な知識編集をもたらしますが、孤立した前提は他の知識と一般的な能力の両方を損なう可能性があります。
それは知識編集方法のパフォーマンスに不安定性をもたらします。
これらの仮定を超越するために、知識のローカライゼーションではなく知識の拡張に基づいた新しい視点を採用した手法である StableKE を紹介します。
人間によるラベル付けのコストを克服するために、StableKE は 2 つの自動化された知識拡張戦略を統合します。1 つは知識の説明を多様化し、モデルへの新しい情報の教育を容易にするセマンティック パラフレーズ エンハンスメント戦略、もう 1 つは忘れを防ぐために周囲の知識を拡張するコンテキスト記述強化戦略です。
関連情報の。
StableKE は他の知識編集手法を上回り、編集された知識とマルチホップ知識の両方の安定性を実証しながら、無関係な知識と一般的な能力も維持します。
さらに、StableKE は ChatGPT 上のナレッジを編集できます。

要約(オリジナル)

Efficient knowledge editing of large language models is crucial for replacing obsolete information or incorporating specialized knowledge on a large scale. However, previous methods implicitly assume that knowledge is localized and isolated within the model, an assumption that oversimplifies the interconnected nature of model knowledge. The premise of localization results in an incomplete knowledge editing, whereas an isolated assumption may impair both other knowledge and general abilities. It introduces instability to the performance of the knowledge editing method. To transcend these assumptions, we introduce StableKE, a method adopts a novel perspective based on knowledge augmentation rather than knowledge localization. To overcome the expense of human labeling, StableKE integrates two automated knowledge augmentation strategies: Semantic Paraphrase Enhancement strategy, which diversifies knowledge descriptions to facilitate the teaching of new information to the model, and Contextual Description Enrichment strategy, expanding the surrounding knowledge to prevent the forgetting of related information. StableKE surpasses other knowledge editing methods, demonstrating stability both edited knowledge and multi-hop knowledge, while also preserving unrelated knowledge and general abilities. Moreover, StableKE can edit knowledge on ChatGPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google