Timeline-based Sentence Decomposition with In-Context Learning for Temporal Fact Extraction

要約

ファクトの抽出はナレッジ グラフを構築する上で極めて重要です。
最近、下流タスクにおける時間的事実に対する需要が高まっているため、時間的事実抽出タスクが登場しています。
この論文では、自然言語テキストからの時間的事実の抽出について特に扱います。
これまでの研究では、複雑な文での時間と事実の対応関係を確立するという課題に対処できていません。
このハードルを克服するために、コンテキスト内学習を備えた大規模言語モデル (LLM) を使用して、さまざまな事実に関連付けられたタイムラインをきめ細かく理解できるようにする、タイムラインベースの文分解戦略を提案します。
さらに、時間的事実を直接抽出するための LLM のパフォーマンスを評価しましたが、満足のいく結果は得られませんでした。
この目的を達成するために、LLM の分解機能を、より小さな事前トレーニング済み言語モデル (PLM) の従来の微調整に組み込む手法である TSDRE を導入します。
評価をサポートするために、複雑な時間的事実抽出データセットである ComplexTRED を構築します。
私たちの実験は、TSDRE が HyperRED-Temporal データセットと ComplexTRED データセットの両方で最先端の結果を達成することを示しています。

要約(オリジナル)

Facts extraction is pivotal for constructing knowledge graphs. Recently, the increasing demand for temporal facts in downstream tasks has led to the emergence of the task of temporal fact extraction. In this paper, we specifically address the extraction of temporal facts from natural language text. Previous studies fail to handle the challenge of establishing time-to-fact correspondences in complex sentences. To overcome this hurdle, we propose a timeline-based sentence decomposition strategy using large language models (LLMs) with in-context learning, ensuring a fine-grained understanding of the timeline associated with various facts. In addition, we evaluate the performance of LLMs for direct temporal fact extraction and get unsatisfactory results. To this end, we introduce TSDRE, a method that incorporates the decomposition capabilities of LLMs into the traditional fine-tuning of smaller pre-trained language models (PLMs). To support the evaluation, we construct ComplexTRED, a complex temporal fact extraction dataset. Our experiments show that TSDRE achieves state-of-the-art results on both HyperRED-Temporal and ComplexTRED datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google