ProTrix: Building Models for Planning and Reasoning over Tables with Sentence Context

要約

テーブルは、さまざまな領域で情報を伝達する上で重要な役割を果たします。
私たちは、文のコンテキストを含むテーブルに対するさまざまなタイプのユーザー クエリに答える、Plan-then-Reason フレームワークを提案します。
フレームワークは、まずコンテキストに基づいて推論パスを計画し、次に各ステップをプログラムベースまたはテキスト推論に割り当てて、最終的な答えに到達します。
このフレームワークは、コンテキスト内学習と微調整方法の両方の表推論能力を強化します。
Plan-then-Reason フレームワークに従った GPT-3.5-Turbo は、API 呼び出しとコンテキスト内デモンストレーションの使用量を減らしながら、自己一貫性なしに他のプロンプト ベースラインを上回ります。
また、このフレームワークによる微調整の有効性を評価するために、命令チューニング セット TrixInstruct を構築します。
TrixInstruct でモデルを微調整することにより、ProTrix モデル ファミリーを提示します。
私たちの実験では、ProTrix ファミリが、わずか 6,000 個のトレーニング インスタンスを使用して、さまざまな目に見えない表形式のタスクに一般化していることが示されています。
さらに、ProTrix が正確かつ忠実な説明を生成して、複雑な自由形式の質問に答えることができることを実証します。
私たちの研究は、一般化可能性と解釈可能性を備えた表形式のタスクよりも、モデルに対する計画と推論の能力の重要性を強調しています。
データセットとモデルを https://github.com/WilliamZR/ProTrix でオープンソース化しています。

要約(オリジナル)

Tables play a crucial role in conveying information in various domains. We propose a Plan-then-Reason framework to answer different types of user queries over tables with sentence context. The framework first plans the reasoning paths over the context, then assigns each step to program-based or textual reasoning to reach the final answer. This framework enhances the table reasoning abilities for both in-context learning and fine-tuning methods. GPT-3.5-Turbo following Plan-then-Reason framework surpasses other prompting baselines without self-consistency while using less API calls and in-context demonstrations. We also construct an instruction tuning set TrixInstruct to evaluate the effectiveness of fine-tuning with this framework. We present ProTrix model family by finetuning models on TrixInstruct. Our experiments show that ProTrix family generalizes to diverse unseen tabular tasks with only 6k training instances. We further demonstrate that ProTrix can generate accurate and faithful explanations to answer complex free-form questions. Our work underscores the importance of the planning and reasoning abilities towards a model over tabular tasks with generalizability and interpretability. We open-source our dataset and models at https://github.com/WilliamZR/ProTrix.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google