Time Machine GPT

要約

大規模言語モデル (LLM) は、時間メタデータを含むデータセットの欠如を反映して、大規模で時間的に無差別なテキスト コーパスでトレーニングされることがよくあります。
このアプローチは、言語の進化する性質とは一致しません。
時間的に適応された言語モデルを作成するための従来の方法は、多くの場合、時間固有のデータで静的モデルをさらに事前トレーニングすることに依存します。
このペーパーでは、新しいアプローチ、つまり、非予知的であるように特別に設計された、Time Machine GPT (TiMaGPT) と呼ばれる一連のポイントインタイム LLM を紹介します。
これにより、彼らは将来の事実情報や言語の変化について知らされないままになります。
この戦略は、言語の進化を理解するのに有益であり、時系列予測など、将来の情報の予測に問題が生じる可能性がある動的コンテキストにモデルを適用する場合に非常に重要です。
モデルとトレーニング データセットの両方へのアクセスを提供します。

要約(オリジナル)

Large language models (LLMs) are often trained on extensive, temporally indiscriminate text corpora, reflecting the lack of datasets with temporal metadata. This approach is not aligned with the evolving nature of language. Conventional methods for creating temporally adapted language models often depend on further pre-training static models on time-specific data. This paper presents a new approach: a series of point-in-time LLMs called Time Machine GPT (TiMaGPT), specifically designed to be nonprognosticative. This ensures they remain uninformed about future factual information and linguistic changes. This strategy is beneficial for understanding language evolution and is of critical importance when applying models in dynamic contexts, such as time-series forecasting, where foresight of future information can prove problematic. We provide access to both the models and training datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google