The Missing Piece in Model Editing: A Deep Dive into the Hidden Damage Brought By Model Editing

要約

大規模言語モデルは、その驚くべき有効性により多くのタスクに革命をもたらしました。しかし、古い情報や誤った情報を修正するために不可欠なこれらのモデルの編集は、隠れた空間での波及効果として知られる複雑な問題を引き起こすことがよくあります。
この影響は検出が困難ではありますが、モデル編集タスクの有効性を大幅に妨げ、モデルのパフォーマンスを低下させる可能性があります。この論文では、新しい評価手法であるグラフィカル外れ値関係ベースの評価 (GORA) を提案することで、この科学的課題に対処します。
モデルとその後の編集の影響。
さらに、この波及効果を軽減するために設計されたモデル編集手法である選択的外れ値再編集アプローチ (SORA) を紹介します。
私たちの総合的な評価により、隠れた空間での波及効果が現在のすべてのモデル編集方法において重大な問題であることが明らかになりました。
しかし、私たちが提案する手法である GORA と SORA は、それぞれこの問題を効果的に特定して軽減し、LLM 編集技術の進歩に貢献します。

要約(オリジナル)

Large Language Models have revolutionized numerous tasks with their remarkable efficacy.However, the editing of these models, crucial for rectifying outdated or erroneous information, often leads to a complex issue known as the ripple effect in the hidden space. This effect, while difficult to detect, can significantly impede the efficacy of model editing tasks and deteriorate model performance.This paper addresses this scientific challenge by proposing a novel evaluation methodology, Graphical Outlier Relation based Assessment(GORA), which quantitatively evaluates the adaptations of the model and the subsequent impact of editing. Furthermore, we introduce the Selective Outlier Re-Editing Approach(SORA), a model editing method designed to mitigate this ripple effect. Our comprehensive evaluations reveal that the ripple effect in the hidden space is a significant issue in all current model editing methods. However, our proposed methods, GORA and SORA, effectively identify and alleviate this issue, respectively, contributing to the advancement of LLM editing techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google