StructLM: Towards Building Generalist Models for Structured Knowledge Grounding

要約

表、グラフ、データベースなどの構造化データ ソースは、遍在する知識ソースです。
平文に対する大規模言語モデル (LLM) の機能が実証されているにもかかわらず、構造化データの解釈と利用における LLM の習熟度は依然として限定的です。
私たちの調査では、構造化データを処理する LLM の能力に顕著な欠陥があることが明らかになりました。たとえば、ChatGPT は最先端 (SoTA) モデルに比べて平均 35% 遅れています。
LLM の構造化知識グラウンディング (SKG) 機能を強化するために、110 万の例で構成される包括的な命令チューニング データセットを開発しました。
このデータセットを利用して、Mistral および CodeLlama モデル ファミリに基づいて、7B から 34B パラメーターの範囲の StructLM と呼ばれる一連のモデルをトレーニングします。
当社の StructLM シリーズは、18 の評価済みデータセットのうち 16 でタスク固有のモデルを上回り、8 つの SKG タスクで新しい SoTA パフォーマンスを確立します。
さらに、StructLM は 6 つの新しい保留された SKG タスクにわたって強力な汎用性を示し、TableLlama を平均 35%、Flan-UL2 20B を平均 10% 上回りました。
予想に反して、StructLM-34B は StructLM-7B に比べてわずかな改善しか示しておらず、モデル サイズのスケーリングによる利点はわずかであることがわかりました。
これは、構造化された知識の基礎が依然として困難な作業であり、新しいレベルに到達するには、より革新的な設計が必要であることを示唆しています。

要約(オリジナル)

Structured data sources, such as tables, graphs, and databases, are ubiquitous knowledge sources. Despite the demonstrated capabilities of large language models (LLMs) on plain text, their proficiency in interpreting and utilizing structured data remains limited. Our investigation reveals a notable deficiency in LLMs’ ability to process structured data, e.g., ChatGPT lags behind state-of-the-art (SoTA) model by an average of 35%. To augment the Structured Knowledge Grounding (SKG) capabilities in LLMs, we have developed a comprehensive instruction tuning dataset comprising 1.1 million examples. Utilizing this dataset, we train a series of models, referred to as StructLM, based on the Mistral and the CodeLlama model family, ranging from 7B to 34B parameters. Our StructLM series surpasses task-specific models on 16 out of 18 evaluated datasets and establishes new SoTA performance on 8 SKG tasks. Furthermore, StructLM demonstrates strong generalization across 6 novel held-out SKG tasks, outperforming TableLlama by an average of 35\% and Flan-UL2 20B by an average of 10\%. Contrary to expectations, we observe that scaling model size offers marginal benefits, with StructLM-34B showing only slight improvements over StructLM-7B. This suggests that structured knowledge grounding is still a challenging task and requires more innovative design to push to a new level.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google