Large Language Models Know What Makes Exemplary Contexts

要約

インコンテキスト学習 (ICL) は、大規模言語モデル (LLM) の進歩により重要な機能であることが証明されています。
ICL は、少数のショットの実証例を使用して LLM に指示することにより、数百万のパラメータを更新することなく、広範囲のタスクを実行できるようにします。
このペーパーでは、LLM がコンテキスト内の影響力のある例を自分で選択してコンテキストを構成できるようにするための統一フレームワークを紹介します。
さまざまなデモンストレーション構成で候補者を自己ランク付けします。
強化学習を通じてデモンストレーションの選択と順序を自己最適化します。
具体的には、私たちの方法は、LLM 自身の好みによる報酬でトレーニングした後に最適化されたデモンストレーションを生成する、パラメーター効率の高い検索ヘッドを設計します。
実験結果は、提案された方法の ICL パフォーマンス向上における有効性を検証します。
さらに、私たちのアプローチは、現在のタスクの最も代表的な例を効果的に特定して選択し、検索の多様性を高めます。

要約(オリジナル)

In-context learning (ICL) has proven to be a significant capability with the advancement of Large Language models (LLMs). By instructing LLMs using few-shot demonstrative examples, ICL enables them to perform a wide range of tasks without needing to update millions of parameters. This paper presents a unified framework for LLMs that allows them to self-select influential in-context examples to compose their contexts; self-rank candidates with different demonstration compositions; self-optimize the demonstration selection and ordering through reinforcement learning. Specifically, our method designs a parameter-efficient retrieval head that generates the optimized demonstration after training with rewards from LLM’s own preference. Experimental results validate the proposed method’s effectiveness in enhancing ICL performance. Additionally, our approach effectively identifies and selects the most representative examples for the current task, and includes more diversity in retrieval.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google