RobuT: A Systematic Study of Table QA Robustness Against Human-Annotated Adversarial Perturbations

要約

表形式データ (テーブル QA) での質問回答は大幅に進歩しましたが、既存のテーブル QA モデルがタスク固有の摂動 (主要な質問エンティティの置き換えやテーブル列のシャッフルなど) に対して堅牢であるかどうか、またどの程度堅牢であるかは不明です。
テーブル QA モデルの堅牢性を体系的に研究するために、既存のテーブル QA データセット (WTQ、WikiSQL-Weak、SQA) に基づいて構築され、テーブル ヘッダー、テーブル コンテンツ、
と質問。
私たちの結果は、最先端のテーブル QA モデルと少数ショット学習を備えた大規模言語モデル (GPT-3 など) の両方が、これらの敵対セットではうまくいかないことを示しています。
私たちは、大規模な言語モデルを使用して敵対的な例を生成し、トレーニングを強化することでこの問題に対処することを提案します。これにより、Table QA モデルの堅牢性が大幅に向上します。
私たちのデータとコードは https://github.com/yilunzhao/RobuT で公開されています。

要約(オリジナル)

Despite significant progress having been made in question answering on tabular data (Table QA), it’s unclear whether, and to what extent existing Table QA models are robust to task-specific perturbations, e.g., replacing key question entities or shuffling table columns. To systematically study the robustness of Table QA models, we propose a benchmark called RobuT, which builds upon existing Table QA datasets (WTQ, WikiSQL-Weak, and SQA) and includes human-annotated adversarial perturbations in terms of table header, table content, and question. Our results indicate that both state-of-the-art Table QA models and large language models (e.g., GPT-3) with few-shot learning falter in these adversarial sets. We propose to address this problem by using large language models to generate adversarial examples to enhance training, which significantly improves the robustness of Table QA models. Our data and code is publicly available at https://github.com/yilunzhao/RobuT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google