Factual Knowledge in Language Models: Robustness and Anomalies under Simple Temporal Context Variations

要約

このペーパーでは、実際の知識の中で、時間的文脈の変動に対する言語モデル（LMS）の堅牢性を探ります。
LMSが、正しいコンテキストと正しいと区別するように依頼することにより、定義された期間にわたって有効な過去の事実と一時的なコンテキストを正しく関連付けることができるかどうかを調べます。
LMSの精度は、有効期間からの誤ったコンテキストの距離とコンテキストの粒度という2つの次元に沿って分析されます。
この目的のために、TimeStressと呼ばれるデータセットが導入され、18の多様なLMSの評価が可能になります。
結果は、最高のLMが、人間が犯さない重要なエラーを伴う、研究された事実の6％のみに対して完全な精度を達成することを明らかにしています。
この作業は、時間表現における現在のLMSの制限を強調しています。
さらなる調査のためにすべてのデータとコードを提供します。

要約(オリジナル)

This paper explores the robustness of language models (LMs) to variations in the temporal context within factual knowledge. It examines whether LMs can correctly associate a temporal context with a past fact valid over a defined period, by asking them to differentiate correct from incorrect contexts. The accuracy of LMs is analyzed along two dimensions: the distance of the incorrect context from the validity period and the granularity of the context. To this end, a dataset called TimeStress is introduced, enabling the evaluation of 18 diverse LMs. Results reveal that the best LM achieves perfect accuracy for only 6% of the studied facts, with critical errors that humans would not make. This work highlights the limitations of current LMs in temporal representation. We provide all data and code for further research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google