S$^3$HQA: A Three-Stage Approach for Multi-hop Text-Table Hybrid Question Answering

要約

指定されたテキストと表 (TextTableQA) からのハイブリッド事実知識に基づいてマルチホップの質問に答えるのは、困難な作業です。
既存のモデルは主にレトリーバーとリーダーのフレームワークを採用しており、レトリーバーのトレーニングにおけるノイズの多いラベル付け、テキストやテーブルにわたる異種情報の不十分な利用、さまざまな推論操作の能力の不足など、いくつかの欠陥があります。
この論文では、取得者、セレクタ、および推論者で構成される 3 段階の TextTableQA フレームワーク S3HQA を提案します。
ノイズの多いラベル付けの問題を解決するために、改良トレーニングを行ったレトリーバーを使用します。
次に、ハイブリッド セレクターが異種データ間のリンク関係を考慮して、最も関連性の高い事実知識を選択します。
最終段階では、以前の方法のように読解モジュールを適応させる代わりに、世代ベースの推論を使用して答えを取得します。
これには、行単位のジェネレーターと LLM プロンプトジェネレーター~ (このタスクで初めて使用) という 2 つのアプローチが含まれます。
実験結果は、私たちの方法が数ショット設定で競争力のある結果を達成できることを示しています。
完全なデータセットでトレーニングすると、私たちのアプローチはすべてのベースライン手法を上回り、HybridQA リーダーボードで 1 位にランクされます。

要約(オリジナル)

Answering multi-hop questions over hybrid factual knowledge from the given text and table (TextTableQA) is a challenging task. Existing models mainly adopt a retriever-reader framework, which have several deficiencies, such as noisy labeling in training retriever, insufficient utilization of heterogeneous information over text and table, and deficient ability for different reasoning operations. In this paper, we propose a three-stage TextTableQA framework S3HQA, which comprises of retriever, selector, and reasoner. We use a retriever with refinement training to solve the noisy labeling problem. Then, a hybrid selector considers the linked relationships between heterogeneous data to select the most relevant factual knowledge. For the final stage, instead of adapting a reading comprehension module like in previous methods, we employ a generation-based reasoner to obtain answers. This includes two approaches: a row-wise generator and an LLM prompting generator~(first time used in this task). The experimental results demonstrate that our method achieves competitive results in the few-shot setting. When trained on the full dataset, our approach outperforms all baseline methods, ranking first on the HybridQA leaderboard.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google