Emptying the Ocean with a Spoon: Should We Edit Models?

要約

私たちは、LLM 世代における事実上の誤りを修正する手段として、最近普及した直接モデル編集の方法に疑問を投げかけます。
私たちはモデル編集を、より適切に定義された目的を追求する 3 つの類似しているが異なるアプローチと対比します。(1) 事実の記憶を推論および LLM に組み込まれた言語機能から分離する検索ベースのアーキテクチャ。
(2) 概念消去手法。生成されたテキストの体系的な偏りを防ぐことを目的としています。
(3) 特定された原典に世代を根付かせることを目的とした帰属方法。
私たちは、モデルの直接編集は、LLM に固有の欠点に対する体系的な解決策としては信頼できず、モデルの説明可能性を向上させる可能性は証明されていますが、モデルの事実性について信頼できるという概念を強化することでリスクが生じると主張します。
私たちは、LLM 導入プロセスの一環としてモデル編集を慎重に推進および適用すること、および LLM のユースケースを重要なコンポーネントとして編集に依存しないものに責任を持って制限することを求めます。

要約(オリジナル)

We call into question the recently popularized method of direct model editing as a means of correcting factual errors in LLM generations. We contrast model editing with three similar but distinct approaches that pursue better defined objectives: (1) retrieval-based architectures, which decouple factual memory from inference and linguistic capabilities embodied in LLMs; (2) concept erasure methods, which aim at preventing systemic bias in generated text; and (3) attribution methods, which aim at grounding generations into identified textual sources. We argue that direct model editing cannot be trusted as a systematic remedy for the disadvantages inherent to LLMs, and while it has proven potential in improving model explainability, it opens risks by reinforcing the notion that models can be trusted for factuality. We call for cautious promotion and application of model editing as part of the LLM deployment process, and for responsibly limiting the use cases of LLMs to those not relying on editing as a critical component.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google