Large Language Models are Versatile Decomposers: Decompose Evidence and Questions for Table-based Reasoning

要約

タイトル：大規模言語モデルは多能な分解器である：表ベースの推論において証拠と質問を分解する

要約：
– 表ベースの推論は、自然言語の質問と構造化された表の両方に対して推論を行うような深層モデルの組み合わせによる驚異的な進歩を示している。
– しかし、大きな証拠（表）に対する推論において従来のソリューションは性能劣化が著しく、また、必要な情報が異なる場所に散在している複雑な質問に対する推論については、多くの既存の方法が苦戦している。
– これらの課題を緩和するために、効果的な表ベースの推論のための分解器として大規模な言語モデル（LLMs）を活用することを提案する。
– 具体的には、LLMsを使用して現在の質問に含まれる証拠（表）を分解し、関連する証拠を保持し、余分な情報を除外することで、大きな証拠（表）の干渉を緩和する。
– さらに、複雑な質問をより単純なサブ質問に分解することで、テキスト推論を行うことができる。
– 経験豊富な実験により、我々の方法が分解された証拠と質問を効果的に活用し、TabFact、WikiTableQuestion、FetaQAデータセットで強力なベースラインを上回ることができることが示された。
– 特筆すべきは、我々のモデルがTabFactデータセットにおいて初めて人間のパフォーマンスを上回ったことである。

要点：
– 表ベースの推論は、自然言語の質問と構造化された表の両方に対応する深層モデルの組み合わせで驚異的な進歩を遂げている
– 従来のソリューションは大規模な証拠（表）に対して性能劣化が著しく、複雑な質問については多くの既存の方法が苦戦している
– 大規模な言語モデル（LLMs）を分解器として活用することで、証拠と質問を分解し、推論の効果を高めることができる
– 実験によって、分解された証拠と質問を効果的に活用することで、強力なベースラインを上回る性能を発揮することができることが示されている

要約(オリジナル)

Table-based reasoning has shown remarkable progress in combining deep models with discrete reasoning, which requires reasoning over both free-form natural language (NL) questions and structured tabular data. However, previous table-based reasoning solutions usually suffer from significant performance degradation on huge evidence (tables). In addition, most existing methods struggle to reason over complex questions since the required information is scattered in different places. To alleviate the above challenges, we exploit large language models (LLMs) as decomposers for effective table-based reasoning, which (i) decompose huge evidence (a huge table) into sub-evidence (a small table) to mitigate the interference of useless information for table reasoning; and (ii) decompose complex questions into simpler sub-questions for text reasoning. Specifically, we first use the LLMs to break down the evidence (tables) involved in the current question, retaining the relevant evidence and excluding the remaining irrelevant evidence from the huge table. In addition, we propose a ‘parsing-execution-filling’ strategy to alleviate the hallucination dilemma of the chain of thought by decoupling logic and numerical computation in each step. Extensive experiments show that our method can effectively leverage decomposed evidence and questions and outperforms the strong baselines on TabFact, WikiTableQuestion, and FetaQA datasets. Notably, our model outperforms human performance for the first time on the TabFact dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI