Factual Knowledge in Language Models: Robustness and Anomalies under Simple Temporal Context Variations

要約

このペーパーでは、実際の知識の中で、時間的文脈の変動に対する言語モデル（LMS）の堅牢性を探ります。
LMSが、正しいコンテキストと正しいと区別するように依頼することにより、定義された期間にわたって有効な過去の事実と一時的なコンテキストを正しく関連付けることができるかどうかを調べます。
LMSの区別能力は、2つの次元に沿って分析されます。誤ったコンテキストの有効期間からの距離と、コンテキストの粒度です。
この目的のために、TimeStressと呼ばれるデータセットが導入され、18の多様なLMSの評価が可能になります。
結果は、最高のLMは、研究された事実の11％だけで完全な区別を達成し、エラーがあり、確かにまれですが、人間が作らないことが重要であることが明らかになりました。
この作業は、時間表現における現在のLMSの制限を強調しています。

要約(オリジナル)

This paper explores the robustness of language models (LMs) to variations in the temporal context within factual knowledge. It examines whether LMs can correctly associate a temporal context with a past fact valid over a defined period, by asking them to differentiate correct from incorrect contexts. The LMs’ ability to distinguish is analyzed along two dimensions: the distance of the incorrect context from the validity period and the granularity of the context. To this end, a dataset called TimeStress is introduced, enabling the evaluation of 18 diverse LMs. Results reveal that the best LM achieves a perfect distinction for only 11% of the studied facts, with errors, certainly rare, but critical that humans would not make. This work highlights the limitations of current LMs in temporal representation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google