ChroKnowledge: Unveiling Chronological Knowledge of Language Models in Multiple Domains

要約

大規模言語モデル (LLM) は、私たちの生活のさまざまな側面に大きな変化をもたらしました。
しかし、彼らの年代順の知識を評価し、確実にすることは依然として困難です。
既存のアプローチは、知識の時間的適応性に対処するには不十分であり、多くの場合、固定された時点の視点に依存しています。
これを克服するために、複数のドメイン、時間依存性、時間的状態という 3 つの主要な側面にわたって時系列に蓄積された知識を評価するように設計されたベンチマーク データセットである ChroKnowBench を導入します。
私たちのベンチマークは、進化する知識 (個人の歴史、科学的発見、改正された法律など) と不変のままの知識 (数学的真実、常識的事実など) を区別します。
このベンチマークに基づいて、LLM のノンパラメトリック時系列知識を評価するための新しいサンプリングベースのフレームワークである ChroKnowledge (知識の時系列分類) を紹介します。
私たちの評価により、次のような観察結果が得られました。 (1) 時間的知識を引き出す能力は、モデルがトレーニングされたデータ形式に応じて異なります。
(2) LLM は、知識のすべての側面を正確に思い出すのではなく、知識を部分的に思い出したり、時間的境界で切れ目を示したりします。
したがって、周囲のタイムスパンを段階的に横断することによって年代順の知識を引き出すための詳細なプロンプトであるChroKnowPromptを適用します。
動的データセットと非構造化形式に関する課題に直面しているものの、オープンソースと独自の LLM の両方でオブジェクトを正常に呼び出し、多用途性を示していることが観察されています。

要約(オリジナル)

Large language models (LLMs) have brought significant changes to many aspects of our lives. However, assessing and ensuring their chronological knowledge remains challenging. Existing approaches fall short in addressing the temporal adaptability of knowledge, often relying on a fixed time-point view. To overcome this, we introduce ChroKnowBench, a benchmark dataset designed to evaluate chronologically accumulated knowledge across three key aspects: multiple domains, time dependency, temporal state. Our benchmark distinguishes between knowledge that evolves (e.g., personal history, scientific discoveries, amended laws) and knowledge that remain constant (e.g., mathematical truths, commonsense facts). Building on this benchmark, we present ChroKnowledge (Chronological Categorization of Knowledge), a novel sampling-based framework for evaluating LLMs’ non-parametric chronological knowledge. Our evaluation led to the following observations: (1) The ability of eliciting temporal knowledge varies depending on the data format that model was trained on. (2) LLMs partially recall knowledge or show a cut-off at temporal boundaries rather than recalling all aspects of knowledge correctly. Thus, we apply ourChroKnowPrompt, an in-depth prompting to elicit chronological knowledge by traversing step-by-step through the surrounding time spans. We observe that it successfully recalls objects across both open-source and proprietary LLMs, demonstrating versatility, though it faces challenges with dynamic datasets and unstructured formats.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google