BiTimeBERT: Extending Pre-Trained Language Representations with Bi-Temporal Information

要約

タイトル：BiTimeBERT：Bi-Temporal情報で事前学習された言語モデルを拡張する

要約：

– BiTimeBERTは、時間的な文書情報を事前学習中に取り込む方法について調査したものである。
– 従来の事前学習技術（例：BERT）では、同期的なドキュメントコレクションを用いて言語モデルを構築しているが、BiTimeBERTでは長期間にわたるニュース記事のコレクションを使用して言語モデルを構築している。
– BiTimeBERTは新しい事前学習タスクを通じて、2つの異なる時間信号を利用して時間を考慮した言語表現を構築することができる。
– 実験結果は、BiTimeBERTが、時間が重要な他のNLPタスクやアプリケーション（例：イベントの時間推定タスク）において、BERTや他の既存の事前学習モデルよりも大幅に高い性能を発揮できることを示している。

要約(オリジナル)

Time is an important aspect of documents and is used in a range of NLP and IR tasks. In this work, we investigate methods for incorporating temporal information during pre-training to further improve the performance on time-related tasks. Compared with common pre-trained language models like BERT which utilize synchronic document collections (e.g., BookCorpus and Wikipedia) as the training corpora, we use long-span temporal news article collection for building word representations. We introduce BiTimeBERT, a novel language representation model trained on a temporal collection of news articles via two new pre-training tasks, which harnesses two distinct temporal signals to construct time-aware language representations. The experimental results show that BiTimeBERT consistently outperforms BERT and other existing pre-trained models with substantial gains on different downstream NLP tasks and applications for which time is of importance (e.g., the accuracy improvement over BERT is 155\% on the event time estimation task).

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI