TAXI: Evaluating Categorical Knowledge Editing for Language Models

要約

人間は、1 つの事実を単独で学ぶことはほとんどありません。
その代わりに、新しい事実を学ぶと、世界に関する他の事実についての知識が生まれます。
たとえば、コラートが猫の一種であることを学習すると、それが哺乳類で爪があることも推測され、世界のモデルの一貫性が確保されます。
ナレッジ編集は、言語モデルに新しい事実を注入して事実性を向上させることを目的としていますが、現在のベンチマークでは、効率的で正確かつ一般化可能な編集を保証するために重要な一貫性を評価できません。
一貫性を評価するために特別に作成された新しいベンチマーク データセットである TAXI を手動で作成します。
TAXI には、41 のカテゴリ (例: 犬)、164 の主題 (例: ラブラドール)、および 183 のプロパティ (例: 哺乳類) にわたる 976 の編集に対する 11,120 の多肢選択クエリが含まれています。
次に、TAXI を使用して人気のあるエディターの一貫性を評価し、主題のカテゴリを編集することでそのプロパティが適切に編集される頻度を測定します。
我々は、1) 編集者は限界的ではあるがランダムではない一貫性を達成していること、2) その一貫性は人間のベースラインをはるかに下回っていること、3) 非定型的な主題を編集する場合には一貫性がより達成可能であることを発見しました。
コードとデータは https://github.com/derekpowell/taxi で入手できます。

要約(オリジナル)

Humans rarely learn one fact in isolation. Instead, learning a new fact induces knowledge of other facts about the world. For example, in learning a korat is a type of cat, you also infer it is a mammal and has claws, ensuring your model of the world is consistent. Knowledge editing aims to inject new facts into language models to improve their factuality, but current benchmarks fail to evaluate consistency, which is critical to ensure efficient, accurate, and generalizable edits. We manually create TAXI, a new benchmark dataset specifically created to evaluate consistency. TAXI contains 11,120 multiple-choice queries for 976 edits spanning 41 categories (e.g., Dogs), 164 subjects (e.g., Labrador), and 183 properties (e.g., is a mammal). We then use TAXI to evaluate popular editors’ consistency, measuring how often editing a subject’s category appropriately edits its properties. We find that 1) the editors achieve marginal, yet non-random consistency, 2) their consistency far underperforms human baselines, and 3) consistency is more achievable when editing atypical subjects. Our code and data are available at https://github.com/derekpowell/taxi.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google