Revisiting Demonstration Selection Strategies in In-Context Learning

要約

大規模言語モデル (LLM) は、インコンテキスト学習 (ICL) を使用して幅広いタスクを実行する優れた能力を示しています。ICL では、モデルにタスクを記述するためにいくつかの例が使用されます。
ただし、ICL のパフォーマンスはデモンストレーションの選択によって大きく異なり、なぜこれが起こるのか、どのような要因がデモンストレーションの選択に影響を与えるのかはまだ不明です。
この研究では、まずデータとモデルの両方の側面からこの差異に寄与する要因を再検討し、デモンストレーションの選択がデータとモデルの両方に依存していることを発見しました。
さらに、\textit{デモンストレーションのパフォーマンスは、モデルによるテスト サンプルの理解への貢献と正の相関がある}という仮定に基づいて、データおよびモデルに依存するデモンストレーション選択方法 \textbf{TopK + ConE} を提案しました。
その結果、ICL のシンプルで効果的なレシピが得られます。
経験的に、私たちの方法は、異なるモデルスケールでの言語理解と生成タスクの両方において一貫した改善をもたらしました。
さらなる分析により、さまざまな状況下での一般性と安定性に加えて、私たちの方法が以前の方法の有効性についての統一的な説明を提供することが確認されました。
コードが公開されます。

要約(オリジナル)

Large language models (LLMs) have shown an impressive ability to perform a wide range of tasks using in-context learning (ICL), where a few examples are used to describe a task to the model. However, the performance of ICL varies significantly with the choice of demonstrations, and it is still unclear why this happens or what factors will influence its choice. In this work, we first revisit the factors contributing to this variance from both data and model aspects, and find that the choice of demonstration is both data- and model-dependent. We further proposed a data- and model-dependent demonstration selection method, \textbf{TopK + ConE}, based on the assumption that \textit{the performance of a demonstration positively correlates with its contribution to the model’s understanding of the test samples}, resulting in a simple and effective recipe for ICL. Empirically, our method yields consistent improvements in both language understanding and generation tasks with different model scales. Further analyses confirm that, besides the generality and stability under different circumstances, our method provides a unified explanation for the effectiveness of previous methods. Code will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google