TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning

要約

表推論タスクは、自然言語 (NL) の質問に基づいて表形式のデータを解釈し、結論を導き出す大規模言語モデル (LLM) の開発によって目覚ましい進歩を示しています。
主に小規模なテーブルでテストされている既存のソリューションは、スケーラビリティの問題に直面しており、異なるテーブル セクションにデータが不完全または分散しているため、複雑なクエリに苦労しています。
これらの課題を軽減するために、テーブルベースのタスクで LLM を効果的に活用するための多用途プリプロセッサ スイートとして TAP4LLM を提案します。
これは、いくつかの異なるコンポーネントをカバーしています: (1) クエリ セマンティクスに基づいて大きなテーブルを管理可能なサブテーブルに分解するテーブル サンプリング、(2) 外部ソースまたはモデルからの追加知識を使用してテーブルを強化するテーブル拡張、(3) テーブル パッキングとシリアル化
テーブルを LLM の理解に適したさまざまな形式に変換します。
各モジュールでは、表推論タスクに LLM を活用するためのベスト プラクティスを明らかにすることを目的として、さまざまな使用シナリオの下でいくつかの一般的な方法を設計および比較します。
私たちの実験は、私たちの方法がさまざまな表形式タスクにおけるLLMの推論能力を向上させ、効果的な前処理を採用することでLLMと表形式データの間の相互作用を強化することを示しています。

要約(オリジナル)

Table reasoning tasks have shown remarkable progress with the development of large language models (LLMs), which involve interpreting and drawing conclusions from tabular data based on natural language (NL) questions. Existing solutions mainly tested on smaller tables face scalability issues and struggle with complex queries due to incomplete or dispersed data across different table sections. To alleviate these challenges, we propose TAP4LLM as a versatile pre-processor suite for leveraging LLMs in table-based tasks effectively. It covers several distinct components: (1) table sampling to decompose large tables into manageable sub-tables based on query semantics, (2) table augmentation to enhance tables with additional knowledge from external sources or models, and (3) table packing & serialization to convert tables into various formats suitable for LLMs’ understanding. In each module, we design and compare several common methods under various usage scenarios, aiming to shed light on the best practices for leveraging LLMs for table-reasoning tasks. Our experiments show that our method improves LLMs’ reasoning capabilities in various tabular tasks and enhances the interaction between LLMs and tabular data by employing effective pre-processing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google