TabLLM: Few-shot Classification of Tabular Data with Large Language Models

要約

表形式データのゼロショットおよび少数ショット分類への大規模な言語モデルの適用を研究します。
分類問題の簡単な説明とともに、表形式のデータを自然言語の文字列にシリアル化して、大規模な言語モデルを促します。
少数ショットの設定では、いくつかのラベル付きの例を使用して大規模な言語モデルを微調整します。
テンプレート、テーブルからテキストへのモデル、大規模な言語モデルなど、いくつかのシリアル化方法を評価します。
その単純さにもかかわらず、この手法は、いくつかのベンチマーク データセットで、以前の深層学習ベースの表形式の分類方法よりも優れていることがわかりました。
ほとんどの場合、ゼロ ショット分類でも自明ではないパフォーマンスが得られ、大規模な言語モデルでエンコードされた事前知識を活用するメソッドの能力を示しています。
表形式のデータセットに対する多くの深層学習手法とは異なり、このアプローチは、特に非常に少ないショットの設定で、勾配ブースト ツリーなどの強力な従来のベースラインとも競合します。

要約(オリジナル)

We study the application of large language models to zero-shot and few-shot classification of tabular data. We prompt the large language model with a serialization of the tabular data to a natural-language string, together with a short description of the classification problem. In the few-shot setting, we fine-tune the large language model using some labeled examples. We evaluate several serialization methods including templates, table-to-text models, and large language models. Despite its simplicity, we find that this technique outperforms prior deep-learning-based tabular classification methods on several benchmark datasets. In most cases, even zero-shot classification obtains non-trivial performance, illustrating the method’s ability to exploit prior knowledge encoded in large language models. Unlike many deep learning methods for tabular datasets, this approach is also competitive with strong traditional baselines like gradient-boosted trees, especially in the very-few-shot setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google