Understanding the Limits of Lifelong Knowledge Editing in LLMs

要約

大規模な言語モデルを事実上最新の状態に保つことは展開に不可欠ですが、費用のかかる再訓練は依然として課題です。
知識編集は有望な代替手段を提供しますが、メソッドは小規模または合成編集ベンチマークでのみテストされています。
この作業では、実質的に関連するスケールでの生涯にわたる知識の編集に関する研究を橋渡しすることを目指しています。
最初にwikibigeditを紹介します。
将来のベンチマークのために生涯にわたって自動的に拡張するように構築された、実際のウィキダタ編集の大規模なベンチマーク。
最初の例では、包括的な評価パイプラインとともに、知識編集のための500k以上の質問回答ペアが含まれています。
最後に、wikibigeditを使用して、既存の知識編集手法の実世界の事実を大量に組み込み、その能力を検索の増強や継続的な微調整などの一般的な修正技術とは対照して、現在の生涯知識編集の実用的な姿を獲得する能力を研究します。

要約(オリジナル)

Keeping large language models factually up-to-date is crucial for deployment, yet costly retraining remains a challenge. Knowledge editing offers a promising alternative, but methods are only tested on small-scale or synthetic edit benchmarks. In this work, we aim to bridge research into lifelong knowledge editing to real-world edits at practically relevant scale. We first introduce WikiBigEdit; a large-scale benchmark of real-world Wikidata edits, built to automatically extend lifelong for future-proof benchmarking. In its first instance, it includes over 500K question-answer pairs for knowledge editing alongside a comprehensive evaluation pipeline. Finally, we use WikiBigEdit to study existing knowledge editing techniques’ ability to incorporate large volumes of real-world facts and contrast their capabilities to generic modification techniques such as retrieval augmentation and continual finetuning to acquire a complete picture of the practical extent of current lifelong knowledge editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google