The Inherent Limits of Pretrained LLMs: The Unexpected Convergence of Instruction Tuning and In-Context Learning Capabilities

要約

大規模言語モデル (LLM) は、広範な Web スケールのコーパスでトレーニングされ、特に規模が拡大するにつれて、さまざまなタスクにわたって顕著な能力を実証してきました。
それにもかかわらず、最先端のモデルでも場合によっては苦戦し、幼児でも解ける問題に失敗することもあり、タスクの複雑さに関する従来の概念が LLM の機能を説明するには不十分であることを示しています。
ただし、広く使用されているモデルのほとんどが、プロンプトに適切に応答するように「命令が調整されている」という事実により、LLM 機能の探索は複雑になります。
LLM のパフォーマンスに影響を与える要因を解明することを目的として、命令調整モデルが、コンテキスト内サンプルを使用してプロンプトされる基本モデルとは根本的に異なる機能を備えているかどうかを調査します。
90 個の異なる LLM の命令チューニングを含む、さまざまなモデル ファミリ、スケール、タスク タイプにわたる広範な実験を通じて、命令チューニングされたモデルのパフォーマンスが、ベースとなるモデルのコンテキスト内パフォーマンスと大きく相関していることを実証しました。
命令チューニングがどのような影響を与えるかを明らかにすることで、先行研究をコンテキスト内学習に拡張し、基本モデルが事前トレーニング データからの事前分布を使用してタスクを解決することを示唆しています。
具体的には、この理解を命令調整モデルにも拡張し、その事前トレーニング データも同様に、命令調整データセットの影響を加えて、解決できるタスクに制限境界を設定していることを示唆しています。

要約(オリジナル)

Large Language Models (LLMs), trained on extensive web-scale corpora, have demonstrated remarkable abilities across diverse tasks, especially as they are scaled up. Nevertheless, even state-of-the-art models struggle in certain cases, sometimes failing at problems solvable by young children, indicating that traditional notions of task complexity are insufficient for explaining LLM capabilities. However, exploring LLM capabilities is complicated by the fact that most widely-used models are also ‘instruction-tuned’ to respond appropriately to prompts. With the goal of disentangling the factors influencing LLM performance, we investigate whether instruction-tuned models possess fundamentally different capabilities from base models that are prompted using in-context examples. Through extensive experiments across various model families, scales and task types, which included instruction tuning 90 different LLMs, we demonstrate that the performance of instruction-tuned models is significantly correlated with the in-context performance of their base counterparts. By clarifying what instruction-tuning contributes, we extend prior research into in-context learning, which suggests that base models use priors from pretraining data to solve tasks. Specifically, we extend this understanding to instruction-tuned models, suggesting that their pretraining data similarly sets a limiting boundary on the tasks they can solve, with the added influence of the instruction-tuning dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google