SpreadsheetLLM: Encoding Spreadsheets for Large Language Models

要約

スプレッドシートは、大規模な言語モデル（LLM）に大きな課題をもたらす、広範な2次元グリッド、柔軟なレイアウト、さまざまなフォーマットオプションによって特徴付けられます。
これに応じて、SpreadSheetllmを紹介し、LLMSの強力な理解と推論能力をスプレッドシートで解き放ち、最適化するように設計された効率的なエンコードメソッドを先駆者にします。
当初、セルアドレス、値、および形式を組み込んだバニラシリアル化アプローチを提案します。
ただし、このアプローチはLLMSのトークンの制約によって制限されており、ほとんどのアプリケーションでは実用的ではありません。
この課題に取り組むために、LLMSのスプレッドシートを効果的に圧縮する革新的なエンコードフレームワークであるSheetCompressorを開発します。
構造アンカーベースの圧縮、逆インデックス翻訳、およびデータ形式を意識した集計の3つのモジュールで構成されています。
スプレッドシートテーブル検出タスクのパフォーマンスが大幅に向上し、GPT4のコンテキスト学習設定でバニラアプローチを25.6％上回ります。
さらに、SheetCompressorを備えた微調整されたLLMの平均圧縮比は25倍で、最先端の78.9％F1スコアを達成し、最高の既存のモデルを12.3％上回ります。
最後に、スプレッドシートの理解の下流タスクのスプレッドシートのチェーンを提案し、新しい要求の厳しいスプレッドシートQAタスクでそれを検証します。
スプレッドシートの固有のレイアウトと構造を系統的に活用し、スプレッドシートルがさまざまなスプレッドシートタスクで非常に効果的であることを示しています。

要約(オリジナル)

Spreadsheets are characterized by their extensive two-dimensional grids, flexible layouts, and varied formatting options, which pose significant challenges for large language models (LLMs). In response, we introduce SpreadsheetLLM, pioneering an efficient encoding method designed to unleash and optimize LLMs’ powerful understanding and reasoning capability on spreadsheets. Initially, we propose a vanilla serialization approach that incorporates cell addresses, values, and formats. However, this approach was limited by LLMs’ token constraints, making it impractical for most applications. To tackle this challenge, we develop SheetCompressor, an innovative encoding framework that compresses spreadsheets effectively for LLMs. It comprises three modules: structural-anchor-based compression, inverse index translation, and data-format-aware aggregation. It significantly improves performance in the spreadsheet table detection task, outperforming the vanilla approach by 25.6% in GPT4’s in-context learning setting. Moreover, fine-tuned LLM with SheetCompressor has an average compression ratio of 25 times, and achieves a state-of-the-art 78.9% F1 score, surpassing the best existing models by 12.3%. Finally, we propose Chain of Spreadsheet for downstream tasks of spreadsheet understanding and validate it in a new and demanding spreadsheet QA task. We methodically leverage the inherent layout and structure of spreadsheets, demonstrating that SpreadsheetLLM is highly effective across a variety of spreadsheet tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google