ComplexTempQA: A Large-Scale Dataset for Complex Temporal Question Answering

要約

ComplexTempQA を紹介します。これは、時間的質問応答の課題に取り組むために設計された、1 億を超える質問と回答のペアで構成される大規模なデータセットです。
ComplexTempQA は、規模と範囲において、HOTPOTQA、TORQUE、TEQUILA などの既存のベンチマークを大幅に上回ります。
Wikipedia と Wikidata のデータを利用したこのデータセットは、20 年以上にわたる質問をカバーし、比類のない広範なトピックを提供します。
質問を属性、比較、およびカウントの質問として分類する独自の分類法を導入し、それぞれがイベント、エンティティ、期間を中心に展開します。
ComplexTempQA の際立った特徴の 1 つは、その質問の複雑さであり、時間にわたる比較、時間的な集計、時間的なイベントの順序付けとエンティティの認識を含むマルチホップ推論など、回答するための効果的な機能が必要です。
さらに、各質問には特定の時間範囲を含む詳細なメタデータが伴っており、大規模な言語モデルの時間的推論能力を包括的に評価および強化することができます。
ComplexTempQA は、高度な AI モデルを開発するための実験場として、また質問応答、情報検索、言語理解の研究を進めるための基盤として機能します。
データセットとコードは、https://github.com/DataScienceUIBK/ComplexTempQA から無料で入手できます。

要約(オリジナル)

We introduce ComplexTempQA,a large-scale dataset consisting of over 100 million question-answer pairs designed to tackle the challenges in temporal question answering. ComplexTempQA significantly surpasses existing benchmarks like HOTPOTQA, TORQUE, and TEQUILA in scale and scope. Utilizing data from Wikipedia and Wikidata, the dataset covers questions spanning over two decades and offers an unmatched breadth of topics. We introduce a unique taxonomy that categorizes questions as attributes, comparisons, and counting questions, each revolving around events, entities, and time periods. One standout feature of ComplexTempQA is the high complexity of its questions, which demand effective capabilities for answering such as across-time comparison, temporal aggregation, and multi-hop reasoning involving temporal event ordering and entity recognition. Additionally, each question is accompanied by detailed metadata, including specific time scopes, allowing for comprehensive evaluation and enhancement of the temporal reasoning abilities of large language models. ComplexTempQA serves both as a testing ground for developing sophisticated AI models and as a foundation for advancing research in question answering, information retrieval, and language understanding. Dataset and code are freely available at: https://github.com/DataScienceUIBK/ComplexTempQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google