Table-GPT: Table-tuned GPT for Diverse Table Tasks

要約

GPT-3.5 や ChatGPT などの言語モデルは、人間の多様な指示に従い、幅広いタスクを実行する優れた能力を示します。
しかし、さまざまな基本的なテーブル理解タスクを使用して言語モデルを調査すると、今日の言語モデルが多くのテーブル関連タスクにおいて依然として最適ではないことがわかります。これは、言語モデルが主に \emph{one-Dimensional} で事前トレーニングされているためと思われます。
自然言語テキストであるのに対し、リレーショナルテーブルは \emph{二次元} オブジェクトです。
この研究では、新しい ‘\emph{table-tuning}’ パラダイムを提案します。そこでは、実際のテーブルから合成されたさまざまなテーブルタスクをトレーニング データとして使用して、GPT-3.5 や ChatGPT などの言語モデルのトレーニング/微調整を継続します。
テーブルを理解し、テーブル タスクを実行する言語モデルの能力を強化することを目的としています。
結果として得られる Table-GPT モデルは、(1) ホールドアウトの目に見えないタスクを含む幅広いテーブル タスクにおいて、バニラ GPT-3.5 や ChatGPT を常に上回るパフォーマンスを示し、より優れた \emph{テーブル理解} 機能を実証していることを示します。
2) GPT-3.5 や ChatGPT と同様の方法で、新しいテーブルタスクを実行するための人間の多様な指示に応答する能力における強力な \emph{汎化性}。

要約(オリジナル)

Language models, such as GPT-3.5 and ChatGPT, demonstrate remarkable abilities to follow diverse human instructions and perform a wide range of tasks. However, when probing language models using a range of basic table-understanding tasks, we observe that today’s language models are still sub-optimal in many table-related tasks, likely because they are pre-trained predominantly on \emph{one-dimensional} natural-language texts, whereas relational tables are \emph{two-dimensional} objects. In this work, we propose a new ‘\emph{table-tuning}’ paradigm, where we continue to train/fine-tune language models like GPT-3.5 and ChatGPT, using diverse table-tasks synthesized from real tables as training data, with the goal of enhancing language models’ ability to understand tables and perform table tasks. We show that our resulting Table-GPT models demonstrate (1) better \emph{table-understanding} capabilities, by consistently outperforming the vanilla GPT-3.5 and ChatGPT, on a wide-range of table tasks, including holdout unseen tasks, and (2) strong \emph{generalizability}, in its ability to respond to diverse human instructions to perform new table-tasks, in a manner similar to GPT-3.5 and ChatGPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google