Seek and Solve Reasoning for Table Question Answering

要約

表ベースの質問応答 (TQA) では、表形式のデータに基づいて質問に回答します。
テーブル構造と質問ロジックが複雑なため、このタスクは大規模言語モデル (LLM) であっても困難になります。
このペーパーでは、LLM の推論機能を活用することで TQA のパフォーマンスを向上させます。
人間が TQA タスクを解決する方法にヒントを得て、LLM に最初に関連情報を検索してから質問に答えるように指示する Seek-and-Solve パイプラインを提案します。
2 つの段階は推論レベルで統合され、それらの思考連鎖 (CoT) パスは一貫したシークアンドソルブ CoT (SS-CoT) に統合されます。
さらに、パイプラインから抽出されたコンパクトな 1 段階の TQA 解決プロンプトを提示します。
実験では、SS-CoT パスを含むサンプルをデモンストレーションとして使用するインコンテキスト学習設定の下で、TQA 解決プロンプトが LLM を効果的に誘導して複雑な TQA タスクを解決できることを実証し、その結果、パフォーマンスと信頼性が向上します。
私たちの結果は、複雑な TQA タスクを解決する際に LLM の推論能力を適切に引き出すことの重要性を強調しています。

要約(オリジナル)

Table-based Question Answering (TQA) involves answering questions based on tabular data. The complexity of table structures and question logic makes this task difficult even for Large Language Models (LLMs). This paper improves TQA performance by leveraging LLMs’ reasoning capabilities. Inspired by how humans solve TQA tasks, we propose a Seek-and-Solve pipeline that instructs the LLM to first seek relevant information and then answer questions. The two stages are integrated at the reasoning level, and their Chain of Thought (CoT) paths are integrated into a coherent Seek-and-Solve CoT (SS-CoT). Furthermore, we present a compact single-stage TQA-solving prompt distilled from the pipeline. Experiments demonstrate that under In-Context Learning settings, using samples with SS-CoT paths as demonstrations, the TQA-solving prompt can effectively guide the LLM to solve complex TQA tasks, resulting in improved performance and reliability. Our results highlight the importance of properly eliciting LLMs’ reasoning capabilities in solving complex TQA tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google