MULTITAT: Benchmarking Multilingual Table-and-Text Question Answering

要約

テーブルとテキストのハイブリッドコンテキスト（TATQA）のハイブリッドコンテキストに関する質問の回答は、データ集約型のドメインに幅広いアプリケーションを備えた重要なタスクです。
ただし、既存のTATQAデータセットは英語に限定されており、いくつかの欠点につながります。（i）多言語TAT-QAの課題を見落としており、多言語設定でモデルのパフォーマンスを評価できません。
（ii）テーブルやテキストが英語以外の言語で頻繁に表示される現実世界のシナリオを反映していません。
制限に対処するために、最初の多言語TATQAデータセット（MultITAT）を提案します。
具体的には、3つの主流のTATQAデータセットのデータをサンプリングし、10の多様な言語に変換します。
英語のモデルTATQA機能を​​他の言語に合わせるために、ベースラインを開発します。
実験結果は、マルチタットの非英語データのパフォーマンスが英語と比較して平均19.4％低下し、マルチタットの必要性を証明することを明らかにしています。
このパフォーマンスギャップの理由をさらに分析します。
さらに、私たちのものは平均3.3で他のベースラインよりも優れており、その有効性を示しています。

要約(オリジナル)

Question answering on the hybrid context of tables and text (TATQA) is a critical task, with broad applications in data-intensive domains. However, existing TATQA datasets are limited to English, leading to several drawbacks: (i) They overlook the challenges of multilingual TAT-QA and cannot assess model performance in the multilingual setting. (ii) They do not reflect real-world scenarios where tables and texts frequently appear in non-English languages. To address the limitations, we propose the first multilingual TATQA dataset (MULTITAT). Specifically, we sample data from 3 mainstream TATQA datasets and translate it into 10 diverse languages. To align the model TATQA capabilities in English with other languages, we develop a baseline, Ours. Experimental results reveal that the performance on non-English data in MULTITAT drops by an average of 19.4% compared to English, proving the necessity of MULTITAT. We further analyze the reasons for this performance gap. Furthermore, Ours outperforms other baselines by an average of 3.3, demonstrating its effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google