TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios

要約

TableLLM は、130 億個のパラメーターを備えた堅牢な大規模言語モデル (LLM) であり、実際のオフィス シナリオに合わせて、文書内に埋め込まれているかスプレッドシート内に埋め込まれているかに関係なく、表形式のデータ操作タスクを適切に処理する目的で構築されています。
我々は、推論パターンをより効果的に理解するためのLLMのトレーニングを支援する推論プロセス拡張戦略と、自動的に生成されたデータの品質を保証するクロスウェイ検証戦略で構成されるトレーニング用の遠隔監視方法を提案します。
TableLLM のパフォーマンスを評価するために、ドキュメントとスプレッドシートの両方の形式に対応するベンチマークを作成し、両方のシナリオを処理できるよく組織された評価パイプラインを構築しました。
徹底的な評価により、既存の汎用および表形式データ中心のさまざまな LLM と比較した場合の TableLLM の利点が強調されます。
モデル チェックポイント、ソース コード、ベンチマーク、およびユーザー インタラクション用の Web アプリケーションを公開しました。

要約(オリジナル)

We introduce TableLLM, a robust large language model (LLM) with 13 billion parameters, purpose-built for proficiently handling tabular data manipulation tasks, whether they are embedded within documents or spreadsheets, catering to real-world office scenarios. We propose a distant supervision method for training, which comprises a reasoning process extension strategy, aiding in training LLMs to understand reasoning patterns more effectively as well as a cross-way validation strategy, ensuring the quality of the automatically generated data. To evaluate the performance of TableLLM, we have crafted a benchmark tailored to address both document and spreadsheet formats as well as constructed a well-organized evaluation pipeline capable of handling both scenarios. Thorough evaluations underscore the advantages of TableLLM when compared to various existing general-purpose and tabular data-focused LLMs. We have publicly released the model checkpoint, source code, benchmarks, and a web application for user interaction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google