MultiTabQA: Generating Tabular Answers for Multi-Table Question Answering

要約

大規模な言語モデルを使用した表形式の質問応答 (QA) の最近の進歩は、その適用範囲に制限があり、単一のテーブルに関する質問のみに回答します。
ただし、実際のクエリは本質的に複雑で、多くの場合、リレーショナル データベースや Web ページ内の複数のテーブルにまたがります。
単一テーブルの質問には、集合演算、デカルト積 (結合)、ネストされたクエリなどの一般的なテーブル操作は含まれません。
さらに、複数テーブルの操作では表形式の出力が生成されることが多いため、表形式の QA モデルのテーブル生成機能が必要になります。
このギャップを埋めるために、複数のテーブルにわたる質問に答えるという新しいタスクを提案します。
私たちのモデル MultiTabQA は、複数の表にわたる質問に答えるだけでなく、一般化して表形式の回答を生成します。
効果的なトレーニングを可能にするために、132,645 の SQL クエリと表形式の回答で構成されるトレーニング前データセットを構築します。
さらに、テーブル構造のさまざまなレベルの粒度を評価するさまざまな厳密さのテーブル固有のメトリクスを導入することによって、生成されたテーブルを評価します。
MultiTabQA は、Spider、Atis、GeoQuery の 3 つのデータセットを微調整することで、マルチテーブル QA 設定に適応した最先端の単一テーブル QA モデルよりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Recent advances in tabular question answering (QA) with large language models are constrained in their coverage and only answer questions over a single table. However, real-world queries are complex in nature, often over multiple tables in a relational database or web page. Single table questions do not involve common table operations such as set operations, Cartesian products (joins), or nested queries. Furthermore, multi-table operations often result in a tabular output, which necessitates table generation capabilities of tabular QA models. To fill this gap, we propose a new task of answering questions over multiple tables. Our model, MultiTabQA, not only answers questions over multiple tables, but also generalizes to generate tabular answers. To enable effective training, we build a pre-training dataset comprising of 132,645 SQL queries and tabular answers. Further, we evaluate the generated tables by introducing table-specific metrics of varying strictness assessing various levels of granularity of the table structure. MultiTabQA outperforms state-of-the-art single table QA models adapted to a multi-table QA setting by finetuning on three datasets: Spider, Atis and GeoQuery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google