Context versus Prior Knowledge in Language Models

要約

質問に答えるために、言語モデルは多くの場合、事前トレーニング中に学習した事前知識とコンテキスト内で提示された新しい情報を統合する必要があります。
私たちは、モデルがさまざまな質問やコンテキストにわたって予測可能な方法でこの統合を実行すると仮説を立てます。モデルは、社会での露出が多いため、よく知っているエンティティ (例: 人、場所など) に関する質問については、事前の知識により多く依存します。
トレーニング コーパスを使用することで、ある文脈の方が他の文脈よりも説得されやすくなります。
この問題を形式化するために、コンテキストとエンティティに関するモデルの事前依存性を測定するための 2 つの相互情報ベースのメトリクスを提案します。まず、特定のコンテキストの説得スコアは、モデルがその決定においてコンテキストにどの程度依存しているかを表します。
、そして第 2 に、特定のエンティティの感受性スコアは、モデルがエンティティに関する元の応答分布からどの程度離れることができるかを表します。
私たちはメトリクスの有効性と信頼性を経験的にテストします。
最後に、スコアとエンティティに対するモデルの予想される習熟度の間の関係を調査して見つけ、その利点を説明するために 2 つの使用例を提供します。

要約(オリジナル)

To answer a question, language models often need to integrate prior knowledge learned during pretraining and new information presented in context. We hypothesize that models perform this integration in a predictable way across different questions and contexts: models will rely more on prior knowledge for questions about entities (e.g., persons, places, etc.) that they are more familiar with due to higher exposure in the training corpus, and be more easily persuaded by some contexts than others. To formalize this problem, we propose two mutual information-based metrics to measure a model’s dependency on a context and on its prior about an entity: first, the persuasion score of a given context represents how much a model depends on the context in its decision, and second, the susceptibility score of a given entity represents how much the model can be swayed away from its original answer distribution about an entity. We empirically test our metrics for their validity and reliability. Finally, we explore and find a relationship between the scores and the model’s expected familiarity with an entity, and provide two use cases to illustrate their benefits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google