Rethinking Tabular Data Understanding with Large Language Models

要約

大規模言語モデル (LLM) はさまざまなタスクを実行できることがわかっていますが、表形式のデータを解釈して推論する能力は依然として未開発の領域です。
これに関連して、この研究では、テーブル内の構造的摂動に対する LLM の堅牢性、テーブル上のテキスト推論と記号推論の比較分析、複数の推論経路の集約によるモデルのパフォーマンス向上の可能性という 3 つの中心的な観点から調査します。
同じ内容を表すテーブルの構造的な差異により、特に記号推論タスクで顕著なパフォーマンスの低下が明らかになることがわかりました。
これにより、テーブル構造を正規化する方法の提案が行われます。
さらに、テキスト推論は記号推論よりわずかに優れており、詳細なエラー分析により、それぞれが特定のタスクに応じて異なる強みを示すことが明らかになります。
特に、混合自己一貫性メカニズムによって強化されたテキスト推論経路と記号推論経路の集約により、WIKITABLEQUESTIONS で 73.6% の精度で SOTA パフォーマンスが達成され、これは以前の既存の LLM テーブル処理パラダイムよりも大幅な進歩を示しています。

要約(オリジナル)

Large Language Models (LLMs) have shown to be capable of various tasks, yet their capability in interpreting and reasoning over tabular data remains an underexplored area. In this context, this study investigates from three core perspectives: the robustness of LLMs to structural perturbations in tables, the comparative analysis of textual and symbolic reasoning on tables, and the potential of boosting model performance through the aggregation of multiple reasoning pathways. We discover that structural variance of tables presenting the same content reveals a notable performance decline, particularly in symbolic reasoning tasks. This prompts the proposal of a method for table structure normalization. Moreover, textual reasoning slightly edges out symbolic reasoning, and a detailed error analysis reveals that each exhibits different strengths depending on the specific tasks. Notably, the aggregation of textual and symbolic reasoning pathways, bolstered by a mix self-consistency mechanism, resulted in achieving SOTA performance, with an accuracy of 73.6% on WIKITABLEQUESTIONS, representing a substantial advancement over previous existing table processing paradigms of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google