FLEXTAF: Enhancing Table Reasoning with Flexible Tabular Formats

要約

表推論タスクは、指定された表に従って質問に答えることを目的としています。
現在、テーブル推論には大規模言語モデル (LLM) を使用することが主流です。
既存のメソッドのほとんどは、テーブルを表現するために固定の表形式を採用しているため、パフォーマンスが制限される可能性があります。
各インスタンスには異なる機能が必要であり、モデルがさまざまな機能を持っていることを考慮すると、異なるインスタンスとモデルは異なる表形式に適していると主張します。
私たちは、さまざまな表形式を使用して、異なるインスタンスとモデルが異なるパフォーマンスを達成する実験結果の定量的分析を通じて、前述の主張を証明します。
この議論に基づいて、柔軟な表形式を採用することで表推論のパフォーマンスを向上させる FLEXTAF-Single および FLEXTAF-Vote を提案します。
具体的には、(i) FLEXTAF-Single は、インスタンスと LLM に基づいて最適な表形式を予測するように分類器をトレーニングします。
(ii) FLEXTAF-Vote は、さまざまな形式にわたる結果を統合します。
WikiTableQuestions と TabFact に関する実験では、貪欲デコードと自己無撞着デコードを備えた固定表形式を使用して達成された最高のパフォーマンスと比較して、平均で 2.3% と 4.8% の向上が見られ、大幅な改善が見られ、それによって私たちの方法の有効性が検証されました。

要約(オリジナル)

The table reasoning task aims to answer the question according to the given table. Currently, using Large Language Models (LLMs) is the predominant method for table reasoning. Most existing methods employ a fixed tabular format to represent the table, which could limit the performance. Given that each instance requires different capabilities and models possess varying abilities, we assert that different instances and models suit different tabular formats. We prove the aforementioned claim through quantitative analysis of experimental results, where different instances and models achieve different performances using various tabular formats. Building on this discussion, we propose FLEXTAF-Single and FLEXTAF-Vote to enhance table reasoning performance by employing flexible tabular formats. Specifically, (i) FLEXTAF-Single trains a classifier to predict the most suitable tabular format based on the instance and the LLM. (ii) FLEXTAF-Vote integrates the results across different formats. Our experiments on WikiTableQuestions and TabFact reveal significant improvements, with average gains of 2.3% and 4.8% compared to the best performance achieved using a fixed tabular format with greedy decoding and self-consistency decoding, thereby validating the effectiveness of our methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google