KLoB: a Benchmark for Assessing Knowledge Locating Methods in Language Models

要約

最近、言語モデルに保存されている事実の知識を変更するための主要なアプローチの 1 つとして、Locate-Then-Edit パラダイムが登場しました。
しかし、現在の位置特定方法が、必要な知識を埋め込んだ正確なパラメータを正確に特定できるかどうかについての研究は不足しています。
さらに、多くの研究者が事実知識の局所性仮説の妥当性に疑問を抱いていますが、より詳細な議論や研究のために仮説をテストする方法は提供されていません。
したがって、信頼できる知識検索方法が満たすべき 3 つの必須特性を検査するベンチマークである KLoB を紹介します。
KLoB は、言語モデルにおける既存の位置特定方法を評価するためのベンチマークとして機能し、事実知識の局所性仮説の妥当性を再評価する方法に貢献できます。
これは \url{https://github.com/juyiming/KLoB} で公開されています。

要約(オリジナル)

Recently, Locate-Then-Edit paradigm has emerged as one of the main approaches in changing factual knowledge stored in the Language models. However, there is a lack of research on whether present locating methods can pinpoint the exact parameters embedding the desired knowledge. Moreover, although many researchers have questioned the validity of locality hypothesis of factual knowledge, no method is provided to test the a hypothesis for more in-depth discussion and research. Therefore, we introduce KLoB, a benchmark examining three essential properties that a reliable knowledge locating method should satisfy. KLoB can serve as a benchmark for evaluating existing locating methods in language models, and can contributes a method to reassessing the validity of locality hypothesis of factual knowledge. Our is publicly available at \url{https://github.com/juyiming/KLoB}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google