StruEdit: Structured Outputs Enable the Fast and Accurate Knowledge Editing for Large Language Models

要約

大規模言語モデル (LLM) は、質問応答に最適な最新のツールとして、最新の知識を備えた応答を提供することが期待されています。
このような理想的な質問応答システムを実現するには、自然言語出力内の古い知識を見つけて編集することが、一般的な知識編集手法の一般的な目標です。
ただし、推論ステップでどのトークンを編集するかを特定することと、修正された推論チェーンの一貫性を確保することの両方が困難な作業であるため、この目標は困難です。
私たちは、これらの課題は自然言語出力の構造化されていない性質に起因すると主張します。
上記の課題に対処するために、ナレッジ編集の改良されたベースラインである $\textbf{Stru}$ctural $\textbf{Edit}$ing ($\textbf{StruEdit}$) を提案します。
まず、LLM に、推論トリプレットで構成される構造化された出力を生成するよう促します。
次に、StruEdit は古い可能性のある知識を削除し、1 ステップで構造化された出力に最新の情報を効率的に補充します。
実験結果は、StruEdit が他のナレッジ編集方法と比較して、最小の待ち時間で最高の精度を一貫して提供することを示しています。

要約(オリジナル)

As the modern tool of choice for question answering, large language models (LLMs) are expected to deliver answers with up-to-date knowledge. To achieve such ideal question-answering systems, locating and then editing outdated knowledge in the natural language outputs is a general target of popular knowledge editing methods. However, this target is challenging, as both identifying which tokens to edit in the reasoning steps and ensuring the coherence of the revised reasoning chain are difficult tasks. We argue that these challenges stem from the unstructured nature of natural language outputs. To address the above challenges, we propose $\textbf{Stru}$ctural $\textbf{Edit}$ing ($\textbf{StruEdit}$), an improved baseline for knowledge editing. We first prompt LLMs to produce structured outputs consisting of reasoning triplets. Then, StruEdit removes any potentially outdated knowledge and efficiently refills the structured outputs with up-to-date information in a single step. Experimental results show that StruEdit consistently delivers the highest accuracy with lowest latency compared with other knowledge editing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google