CHEW: A Dataset of CHanging Events in Wikipedia

要約

私たちは、ウィキペディア内の変化する出来事を自然発生的なテキストで表現した新しいデータセットである CHEW を紹介します。
私たちは、生成実験と分類実験において、Wikipedia エンティティとイベントをタイムラインで理解するために LLM を調査するために CHEW を使用します。
私たちの結果は、LLM は時間情報を利用できるにもかかわらず、正確なタイムラインを構築するのに苦労していることを示唆しています。
さらに、意味の変化を識別するための CHEW 由来の埋め込みの有用性を示します。

要約(オリジナル)

We introduce CHEW, a novel dataset of changing events in Wikipedia expressed in naturally occurring text. We use CHEW for probing LLMs for their timeline understanding of Wikipedia entities and events in generative and classification experiments. Our results suggest that LLMs, despite having temporal information available, struggle to construct accurate timelines. We further show the usefulness of CHEW-derived embeddings for identifying meaning shift.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google