Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models

要約

新しいタイプのプロンプト戦略を使用して、大規模言語モデル (LLM) で構成的一般化機能を引き出す問題を検討します。
構成的一般化により、LLM は、これまでに見た問題よりも難しい問題を解決できるようになります (つまり、簡単から難しい一般化)。これは、人間のような知能の重要な推論能力です。
ただし、現在の最先端の LLM でさえ、この形式の推論には依然として苦労しています。
このギャップを埋めるために、より複雑な問題を解決するための基本的なスキルを構成する方法を LLM に指示する、スキル イン コンテキスト (SKiC) プロンプトを提案します。
同じプロンプトのコンテキスト内でスキルと構成例の両方を実証することが重要であることがわかりました。
わずか 2 つのサンプルで、SKiC プロンプトはスキルとその構成機能の間に強力な相乗効果をもたらします。
特に、LLM は、革新的なスキル構成を必要とする目に見えない問題を解決できるようになり、広範囲にわたる困難な構成タスクでほぼ完璧な一般化を達成できるようになります。
興味深いことに、SKiC プロンプトは、LLM の潜在的な可能性を解き放ち、プロンプトのコンテキストでスキルが明示的に提示されていない場合でも、早期の事前トレーニング段階で取得した既存の内部スキルを活用できるようにします。
その結果、LLM は内部コンピテンシーを活性化して構成することで、目に見えない複雑な問題を解決できるようになります。
このような優れた機能により、SKiC プロンプトは、困難な数学的推論ベンチマーク (MATH など) で最先端のパフォーマンスを達成できます。

要約(オリジナル)

We consider the problem of eliciting compositional generalization capabilities in large language models (LLMs) with a novel type of prompting strategy. Compositional generalization empowers the LLMs to solve problems that are harder than the ones they have seen (i.e., easy-to-hard generalization), which is a critical reasoning capability of human-like intelligence. However, even the current state-of-the-art LLMs still struggle with this form of reasoning. To bridge this gap, we propose skills-in-context (SKiC) prompting, which instructs LLMs how to compose basic skills to resolve more complex problems. We find that it is crucial to demonstrate both the skills and the compositional examples within the same prompting context. With as few as two examplars, our SKiC prompting initiates strong synergies between skills and their composition capabilities. Notably, it empowers LLMs to solve unseen problems that require innovative skill compositions, achieving near-perfect generalization on a broad range of challenging compositionality tasks. Intriguingly, SKiC prompting unlocks the latent potential of LLMs, enabling them to leverage pre-existing internal skills acquired during earlier pre-training stages, even when these skills are not explicitly presented in the prompting context. This results in the capability of LLMs to solve unseen complex problems by activating and composing internal competencies. With such prominent features, SKiC prompting is able to achieve state-of-the-art performance on challenging mathematical reasoning benchmarks (e.g., MATH).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google