TableLlama: Towards Open Large Generalist Models for Tables

要約

半構造化テーブルはどこにでもある。テーブルを自動的に解釈し、補強し、照会することを目的とした様々なタスクがある。現在の手法は、テーブルの事前学習や特別なモデルアーキテクチャ設計を必要としたり、特定のテーブルタイプに限定されたり、テーブルやタスクに関する単純化された仮定を持つことが多い。本稿では、テーブルベースの多様なタスクに対応するジェネラリストとして、オープンソースの大規模言語モデル（LLM）を開発するための第一歩を踏み出す。本論文では、LLMのチューニングと評価のために、様々な現実的なテーブルとタスクを含む新しいデータセットTableInstructを構築する。さらに、Llama 2 (7B)をLongLoRAでファインチューニングすることで、オープンソース初のテーブル用ジェネラリストモデルであるTableLlamaを開発し、長いコンテキストの課題に対処する。ドメイン内設定とドメイン外設定の両方で実験を行った。8つの領域内タスクのうち7つにおいて、TableLlamaは各タスクでSOTAと同等かそれ以上の性能を達成した。ドメイン外の6つのデータセットでは、TableLlamaはベースモデルと比較して5-44ポイントの絶対的な向上を達成し、TableInstructでの学習がモデルの汎化性を向上させることを示している。我々のデータセットと学習済みモデルをオープンソース化し、テーブルに対するオープンな汎化モデルの開発に関する今後の研究を後押しする。

要約(オリジナル)

Semi-structured tables are ubiquitous. There has been a variety of tasks that aim to automatically interpret, augment, and query tables. Current methods often require pretraining on tables or special model architecture design, are restricted to specific table types, or have simplifying assumptions about tables and tasks. This paper makes the first step towards developing open-source large language models (LLMs) as generalists for a diversity of table-based tasks. Towards that end, we construct TableInstruct, a new dataset with a variety of realistic tables and tasks, for instruction tuning and evaluating LLMs. We further develop the first open-source generalist model for tables, TableLlama, by fine-tuning Llama 2 (7B) with LongLoRA to address the long context challenge. We experiment under both in-domain setting and out-of-domain setting. On 7 out of 8 in-domain tasks, TableLlama achieves comparable or better performance than the SOTA for each task, despite the latter often has task-specific design. On 6 out-of-domain datasets, it achieves 5-44 absolute point gains compared with the base model, showing that training on TableInstruct enhances the model’s generalizability. We open-source our dataset and trained model to boost future work on developing open generalist models for tables.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL