QTSumm: A New Benchmark for Query-Focused Table Summarization

要約

ユーザーは主にテーブルを参照して、データ分析を行ったり、特定の質問に答えたりします。
ユーザーの情報ニーズに合わせた正確な表の概要を提供できるテキスト生成システムは、関連するデータの洞察へのより効率的なアクセスを促進します。
ただし、既存の表からテキストへの生成に関する研究は、情報探索の目的に対処するのではなく、主に表形式のデータを一貫したステートメントに変換することに重点を置いています。
このペーパーでは、クエリに焦点を当てた新しいテーブル要約タスクを定義します。このタスクでは、テキスト生成モデルが指定されたテーブルに対して人間のような推論と分析を実行して、カスタマイズされた要約を生成する必要があります。また、このタスク用に QTSumm という新しいベンチマークを導入します。
QTSumm は、さまざまなトピックに関する 2,437 のテーブルにわたる、人による注釈が付けられた 5,625 のクエリと要約のペアで構成されています。
さらに、QTSumm データセット上の最先端のモデル (つまり、テキスト生成、表からテキストへの生成、大規模言語モデル) を調査します。
実験結果と手動分析により、私たちのベンチマークには、将来の研究に向けた表からテキストへの生成において重大な課題があることが明らかになりました。

要約(オリジナル)

People primarily consult tables to conduct data analysis or answer specific questions. Text generation systems that can provide accurate table summaries tailored to users’ information needs can facilitate more efficient access to relevant data insights. However, existing table-to-text generation studies primarily focus on converting tabular data into coherent statements, rather than addressing information-seeking purposes. In this paper, we define a new query-focused table summarization task, where text generation models have to perform human-like reasoning and analysis over the given table to generate a tailored summary, and we introduce a new benchmark named QTSumm for this task. QTSumm consists of 5,625 human-annotated query-summary pairs over 2,437 tables on diverse topics. Moreover, we investigate state-of-the-art models (i.e., text generation, table-to-text generation, and large language models) on the QTSumm dataset. Experimental results and manual analysis reveal that our benchmark presents significant challenges in table-to-text generation for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google