Relation Also Knows: Rethinking the Recall and Editing of Factual Associations in Auto-Regressive Transformer Language Models

要約

自動回帰トランス言語モデル（LMS）における事実上の関連性のストレージとリコールは、多大な注目を集め、特定のモデルの重みを直接変更することで知識の編集を刺激します。
ほとんどの編集作品は、主に主題の知識に焦点を当てる知識の既存の解釈のガイダンスの下で知識編集を実現します。
ただし、これらの解釈は深刻な欠陥があり、関係情報を無視し、編集のための過剰なジェネラル化の問題につながります。
この作業では、推論中のトランスLMSの知識リコールを解釈するための新しい関係に焦点を当てた視点を発見し、過剰なジェネラル化を避けるために単一の知識編集に適用します。
新しいR特異性基準を添加したデータセットの実験結果は、編集アプローチが他の基準で競争力を維持しながら、将来の研究のための被験者に焦点を当てた編集の支配を破る一方で、過剰なジェネラル化を軽減することを示しています。

要約(オリジナル)

The storage and recall of factual associations in auto-regressive transformer language models (LMs) have drawn a great deal of attention, inspiring knowledge editing by directly modifying the located model weights. Most editing works achieve knowledge editing under the guidance of existing interpretations of knowledge recall that mainly focus on subject knowledge. However, these interpretations are seriously flawed, neglecting relation information and leading to the over-generalizing problem for editing. In this work, we discover a novel relation-focused perspective to interpret the knowledge recall of transformer LMs during inference and apply it on single knowledge editing to avoid over-generalizing. Experimental results on the dataset supplemented with a new R-Specificity criterion demonstrate that our editing approach significantly alleviates over-generalizing while remaining competitive on other criteria, breaking the domination of subject-focused editing for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google