DeepEdit: Knowledge Editing as Decoding with Constraints

要約

私たちは、制約付きのデコードとして大規模言語モデル (LLM) の知識編集の新しい視点を開発します。
私たちは、推論の一貫性、質問との関連性、更新された知識の認識を向上させて知識編集を改善する神経記号的手法である DeepEdit (知識編集のための深さ優先検索ベースのプログレッシブ デコーディング) を提案します。
DeepEdit は、すべてのブラックボックス LLM に柔軟に適用できます。モデルのパラメーター、表現、または出力語彙分布にアクセスする必要はありません。
DeepEdit は、効果的な知識編集に向けた高品質の推論ステップを段階的に生成します。
深さ優先検索を利用して LLM の出力を修正することで、入力された質問に対する出力の情報提供力と、更新された知識の認識が向上します。
定性的には、DeepEdit は LLM を効果的に制御して、知識編集に従ってより簡潔な推論を生成します。
量的には、DeepEdit は知識編集を備えた挑戦的なマルチホップ質問応答データセットである MQuaKE で大幅な向上をもたらしました。
ソースコードは https://github.com/wangywUST/DeepEdit で公開しています。

要約(オリジナル)

We develop a new perspective of knowledge editing for large language models (LLMs) as decoding with constraints. We propose DeepEdit (Depth-first Search based Progressive Decoding for Knowledge Editing), a neuro-symbolic method that improves knowledge editing with better coherence of reasoning, relevance to the question, and awareness of updated knowledge. DeepEdit can be flexibly applied to all black-box LLMs: it does not require any access to the model parameters, representations, or output vocabulary distributions. DeepEdit progressively produces the high-quality reasoning steps towards effective knowledge editing. It utilizes a depth-first search to revise the LLMs’ output, which improves the output’s informativeness to the input question and awareness of the updated knowledge. Qualitatively, DeepEdit effectively controls LLMs to produce more succinct reasoning in accord with knowledge editing. Quantitatively, DeepEdit yields significant gains on MQuaKE, a challenging multi-hop question-answering dataset with knowledge editing. We release the source code at https://github.com/wangywUST/DeepEdit.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google