DUnE: Dataset for Unified Editing

要約

最も高度な言語モデルであっても、依然としてエラーの影響を受けやすいため、包括的な再トレーニング プロセスを開始せずにこれらのモデルを変更する必要があります。
モデル編集とは、望ましい結果を生み出す方法でモデルの知識または表現を変更することを指します。
これまでの研究は主に事実データの編集に集中していました。
「メッシはインテル・マイアミでプレー」は、編集の定義を知識の三つ組、つまり (主題、目的語、関係) に限定します。
ただし、言語モデルのアプリケーションが拡大するにつれて、その出力を編集および改良する方法も多様になります。
この研究では、推論エラーのバイアスの除去や修正などの一連の編集ケースを含むように編集問題の範囲を広げ、モデルの出力の変更を求める自然言語表現として編集を定義します。
私たちは、自然言語文を編集する編集ベンチマークである DUnE を導入し、DUnE が挑戦的だが適切なタスクを提示することを提案します。
この主張を実証するために、私たちは DUnE に対処するためのさまざまな編集アプローチをテストする広範な一連の実験を実施し、それぞれの長所と短所を実証しました。
私たちは、検索拡張言語モデリングが特殊な編集技術よりも優れたパフォーマンスを発揮できることを示しますが、どちらのアプローチもベンチマークでカバーされている一般化された編集問題を完全には解決できませんでした。

要約(オリジナル)

Even the most advanced language models remain susceptible to errors necessitating to modify these models without initiating a comprehensive retraining process. Model editing refers to the modification of a model’s knowledge or representations in a manner that produces the desired outcomes. Prior research primarily centered around editing factual data e.g. ‘Messi plays for Inter Miami’ confining the definition of an edit to a knowledge triplet i.e. (subject, object, relation). However, as the applications of language models expand, so do the diverse ways in which we wish to edit and refine their outputs. In this study, we broaden the scope of the editing problem to include an array of editing cases such as debiasing and rectifying reasoning errors and define an edit as any natural language expression that solicits a change in the model’s outputs. We are introducing DUnE-an editing benchmark where edits are natural language sentences and propose that DUnE presents a challenging yet relevant task. To substantiate this claim, we conduct an extensive series of experiments testing various editing approaches to address DUnE, demonstrating their respective strengths and weaknesses. We show that retrieval-augmented language modeling can outperform specialized editing techniques and neither set of approaches has fully solved the generalized editing problem covered by our benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google