Towards Effective Time-Aware Language Representation: Exploring Enhanced Temporal Understanding in Language Models

要約

自然言語処理の進化分野（NLP）では、テキストの時間的コンテキストを理解することは、高度な時間的推論を必要とするアプリケーションにとってますます重要になっています。
BookCorpusやWikipediaなどの同期ドキュメントコレクションに依存するBertのような従来の事前訓練を受けた言語モデルは、時間情報を効果的にキャプチャして活用するのが不足していることがよくあります。
この制限に対処するために、一時的なニュース記事コレクションで事前に訓練された新しい時間を手に入れた言語モデルであるBitimebert 2.0を紹介します。
Bitimebert 2.0には、3つの革新的なトレーニング前の目標を通じて一時的な情報が組み込まれています：拡張時間に対応するマスク言語モデリング（ETAMLM）、ドキュメントデート（DD）、および時間依存エンティティ交換（TSER）。
各目的は、一時的な情報の明確な次元をターゲットにするように特異的に設計されています。ETAMLMは、一時的なコンテキストと関係のモデルの理解を高め、DDはドキュメントタイムスタンプを明示的な時系列マーカーとして統合し、TSERは「人」エンティティの時間的ダイナミクスに焦点を当てています。
さらに、洗練されたコーパス前処理戦略により、トレーニング時間が53％近く短縮され、Bitimebert 2.0が高性能を維持しながら大幅に効率的になります。
実験結果は、Bitimebert 2.0が幅広い時間関連タスクにわたって大幅な改善を達成し、広範な時間範囲にまたがるデータセットで優れていることを示しています。
これらの調査結果は、NLPで一時的な推論を進めるための強力なツールとして、Bitimebert 2.0の可能性を強調しています。

要約(オリジナル)

In the evolving field of Natural Language Processing (NLP), understanding the temporal context of text is increasingly critical for applications requiring advanced temporal reasoning. Traditional pre-trained language models like BERT, which rely on synchronic document collections such as BookCorpus and Wikipedia, often fall short in effectively capturing and leveraging temporal information. To address this limitation, we introduce BiTimeBERT 2.0, a novel time-aware language model pre-trained on a temporal news article collection. BiTimeBERT 2.0 incorporates temporal information through three innovative pre-training objectives: Extended Time-Aware Masked Language Modeling (ETAMLM), Document Dating (DD), and Time-Sensitive Entity Replacement (TSER). Each objective is specifically designed to target a distinct dimension of temporal information: ETAMLM enhances the model’s understanding of temporal contexts and relations, DD integrates document timestamps as explicit chronological markers, and TSER focuses on the temporal dynamics of ‘Person’ entities. Moreover, our refined corpus preprocessing strategy reduces training time by nearly 53\%, making BiTimeBERT 2.0 significantly more efficient while maintaining high performance. Experimental results show that BiTimeBERT 2.0 achieves substantial improvements across a broad range of time-related tasks and excels on datasets spanning extensive temporal ranges. These findings underscore BiTimeBERT 2.0’s potential as a powerful tool for advancing temporal reasoning in NLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google