Relation Also Knows: Rethinking the Recall and Editing of Factual Associations in Auto-Regressive Transformer Language Models

要約

自己回帰トランスフォーマー言語モデル (LM) における事実の関連付けの保存と呼び出しは大きな注目を集めており、特定されたモデルの重みを直接変更することによる知識編集を刺激します。
ほとんどの編集作業は、主に主題の知識に焦点を当てた知識想起の既存の解釈の指導の下で知識編集を実現します。
しかし、これらの解釈には重大な欠陥があり、関係情報が無視され、編集時に過度に一般化する問題が発生します。
この研究では、推論中の変圧器 LM の知識想起を解釈し、それを知識編集に適用して過度の一般化を避けるための、関係に焦点を当てた新しい視点を発見しました。
新しい R 特異性基準で補足されたデータセットの実験結果は、私たちの編集アプローチが他の基準での競争力を維持しながら過度の一般化を大幅に軽減し、将来の研究における主題に焦点を当てた編集の支配を打破することを示しています。

要約(オリジナル)

The storage and recall of factual associations in auto-regressive transformer language models (LMs) have drawn a great deal of attention, inspiring knowledge editing by directly modifying the located model weights. Most editing works achieve knowledge editing under the guidance of existing interpretations of knowledge recall that mainly focus on subject knowledge. However, these interpretations are seriously flawed, neglecting relation information and leading to the over-generalizing problem for editing. In this work, we discover a novel relation-focused perspective to interpret the knowledge recall of transformer LMs during inference and apply it on knowledge editing to avoid over-generalizing. Experimental results on the dataset supplemented with a new R-Specificity criterion demonstrate that our editing approach significantly alleviates over-generalizing while remaining competitive on other criteria, breaking the domination of subject-focused editing for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google