Unleashing the Potential of Large Language Models for Predictive Tabular Tasks in Data Science

要約

データ サイエンスの領域では、分類、回帰、欠損値の代入などの予測タスクが、表形式データに関連してよく直面する課題です。
この研究では、これらの予測タスクに対処するために大規模言語モデル (LLM) を適用することを目指しています。
LLM は自然言語の理解には熟練していますが、構造化された表形式データの処理には不十分です。
この制限は、基礎トレーニング中に表形式データの複雑さに触れる機会が不足していることに起因します。
私たちの研究は、指示が注釈付けされたテーブルの包括的なコーパスを編集し、この充実したデータセット上で Llama-2 の大規模トレーニングを実行することで、このギャップを軽減することを目的としています。
さらに、トレーニング済みモデルをゼロショット予測、少数ショット予測、およびコンテキスト内学習シナリオに適用する実際のアプリケーションを調査します。
広範な実験を通じて、私たちの方法論は既存のベンチマークに比べて大幅な改善を示しました。
これらの進歩は、データ サイエンスにおけるテーブル関連の問題を解決するために LLM トレーニングを調整することの有効性を浮き彫りにし、それによってテーブル インテリジェンスを強化するための LLM の利用における新しいベンチマークを確立します。

要約(オリジナル)

In the domain of data science, the predictive tasks of classification, regression, and imputation of missing values are commonly encountered challenges associated with tabular data. This research endeavors to apply Large Language Models (LLMs) towards addressing these predictive tasks. Despite their proficiency in comprehending natural language, LLMs fall short in dealing with structured tabular data. This limitation stems from their lacking exposure to the intricacies of tabular data during their foundational training. Our research aims to mitigate this gap by compiling a comprehensive corpus of tables annotated with instructions and executing large-scale training of Llama-2 on this enriched dataset. Furthermore, we investigate the practical application of applying the trained model to zero-shot prediction, few-shot prediction, and in-context learning scenarios. Through extensive experiments, our methodology has shown significant improvements over existing benchmarks. These advancements highlight the efficacy of tailoring LLM training to solve table-related problems in data science, thereby establishing a new benchmark in the utilization of LLMs for enhancing tabular intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google