Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge

要約

タイトル：LMsは説明から新しいエンティティを学ぶことができるのか？注入された知識の伝播における課題

要約：

– 語学モデル(LMs)は、質問に答えるなどの知識に基づくタスクに使用されますが、世界が変化するにつれてその知識は頻繁に時代遅れになります。
– これまでの研究では、LMsへのターゲット更新について調べられ、個々の事実を注入し、モデルがこれらの事実を学習するかどうかを評価し、他のコンテキストでの予測を変えないようにしています。
– 我々は一歩進み、LMsが注入された事実に基づいて推論を行う能力を研究し（またはこれらの事実を伝播することを研究します）。たとえば、何かがテレビ番組であることを学習した後、LMsは、それを見ることができると予測するのでしょうか？
– 私たちは2つのクローズタスクでこれを研究しました。1つは新しいエンティティについての実際の世界の文の既存のデータセット(ECBD)であり、もう1つは手動で設計されたテンプレートを使用した新しい制御されたベンチマークで、注入された知識に関する推論のさまざまなレベルを必要とします。
– 驚くべきことに、知識の更新のための既存の方法（勾配ベースの fine-tuning とそのアプローチの修正）は、注入された知識の伝播がほとんどないことがわかりました。これらの方法は、注入された事実と目標の推論の間に語彙的な重複がある場合にのみ、クローズのインスタンスのパフォーマンスを改善します。
– ただし、LMsのコンテキストにエンティティの定義を先頭に置くと、全ての設定でパフォーマンスが改善されることがわかり、知識注入のためのパラメータ更新アプローチにはかなりの改善余地があることを示唆しています。

要約(オリジナル)

Pre-trained language models (LMs) are used for knowledge intensive tasks like question answering, but their knowledge gets continuously outdated as the world changes. Prior work has studied targeted updates to LMs, injecting individual facts and evaluating whether the model learns these facts while not changing predictions on other contexts. We take a step forward and study LMs’ abilities to make inferences based on injected facts (or propagate those facts): for example, after learning that something is a TV show, does an LM predict that you can watch it? We study this with two cloze-style tasks: an existing dataset of real-world sentences about novel entities (ECBD) as well as a new controlled benchmark with manually designed templates requiring varying levels of inference about injected knowledge. Surprisingly, we find that existing methods for updating knowledge (gradient-based fine-tuning and modifications of this approach) show little propagation of injected knowledge. These methods improve performance on cloze instances only when there is lexical overlap between injected facts and target inferences. Yet, prepending entity definitions in an LM’s context improves performance across all settings, suggesting that there is substantial headroom for parameter-updating approaches for knowledge injection.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI