Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding

要約

大規模言語モデル (LLM) を使用したテーブルベースの推論は、テーブルベースの質問応答や事実検証など、多くのテーブル理解タスクに取り組むための有望な方向性です。
一般的な推論と比較して、テーブルベースの推論では、自由形式の質問と半構造化された表形式データの両方から基礎となるセマンティクスを抽出する必要があります。
Chain-of-Thought とそれに類似したアプローチには、テキストのコンテキストの形式で推論チェーンが組み込まれていますが、推論チェーンで表形式のデータを効果的に活用する方法は依然として未解決の問題です。
私たちは、表形式のデータが中間思考の代理として推論チェーンで明示的に使用される、Chain-of-Table フレームワークを提案します。
具体的には、コンテキスト内学習を使用して LLM が操作を反復的に生成し、テーブルを更新して表形式の推論チェーンを表すようにガイドします。
したがって、LLM は、前の操作の結果に基づいて次の操作を動的に計画できます。
この表の継続的な進化は連鎖を形成し、特定の表形式の問題に対する推論プロセスを示します。
チェーンには中間結果の構造化された情報が含まれるため、より正確で信頼性の高い予測が可能になります。
Chain-of-Table は、複数の LLM の選択肢にわたって、WikiTQ、FeTaQA、および TabFact ベンチマークで新しい最先端のパフォーマンスを実現します。

要約(オリジナル)

Table-based reasoning with large language models (LLMs) is a promising direction to tackle many table understanding tasks, such as table-based question answering and fact verification. Compared with generic reasoning, table-based reasoning requires the extraction of underlying semantics from both free-form questions and semi-structured tabular data. Chain-of-Thought and its similar approaches incorporate the reasoning chain in the form of textual context, but it is still an open question how to effectively leverage tabular data in the reasoning chain. We propose the Chain-of-Table framework, where tabular data is explicitly used in the reasoning chain as a proxy for intermediate thoughts. Specifically, we guide LLMs using in-context learning to iteratively generate operations and update the table to represent a tabular reasoning chain. LLMs can therefore dynamically plan the next operation based on the results of the previous ones. This continuous evolution of the table forms a chain, showing the reasoning process for a given tabular problem. The chain carries structured information of the intermediate results, enabling more accurate and reliable predictions. Chain-of-Table achieves new state-of-the-art performance on WikiTQ, FeTaQA, and TabFact benchmarks across multiple LLM choices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google