‘Why’ Has the Least Side Effect on Model Editing

要約

大規模言語モデル (LLM) をゼロからトレーニングすることは、特に世界の知識が継続的に進化しているため、費用のかかる作業です。
LLM の関連性と正確性を維持するために、モデル編集が極めて重要な研究分野として浮上しています。
これらの方法は有望ですが、意図しない副作用が生じる可能性もあります。
それらの根本的な要因と原因は、ほとんど解明されていないままです。
このペーパーでは、モデル編集の質問を分類することによって、重要な要素である質問のタイプを詳しく掘り下げます。
私たちの調査結果では、パフォーマンス低下の程度が質問の種類によって大きく異なることが明らかになり、ナレッジ編集における実験計画に新たな洞察が得られます。
さらに、小規模なモデルからの洞察をより大きなモデルに外挿できるかどうかを調査します。
私たちの結果は、異なるサイズのモデル間の結果に矛盾があることを示しており、より小さなモデルからの洞察が必ずしもより大きなモデルに適用できるとは限らないことを示唆しています。
さらに、バッチ サイズが副作用に及ぼす影響を調査し、バッチ サイズを増やすことでパフォーマンスの低下を軽減できることを発見しました。

要約(オリジナル)

Training large language models (LLMs) from scratch is an expensive endeavor, particularly as world knowledge continually evolves. To maintain relevance and accuracy of LLMs, model editing has emerged as a pivotal research area. While these methods hold promise, they can also produce unintended side effects. Their underlying factors and causes remain largely unexplored. This paper delves into a critical factor-question type-by categorizing model editing questions. Our findings reveal that the extent of performance degradation varies significantly across different question types, providing new insights for experimental design in knowledge editing. Furthermore, we investigate whether insights from smaller models can be extrapolated to larger models. Our results indicate discrepancies in findings between models of different sizes, suggesting that insights from smaller models may not necessarily apply to larger models. Additionally, we examine the impact of batch size on side effects, discovering that increasing the batch size can mitigate performance drops.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google