$\texttt{Se}^2$: $\textit{Se}$quential Example $\textit{Se}$lection for In-Context Learning

要約

インコンテキスト学習 (ICL) のための大規模言語モデル (LLM) の優れた機能は、デモンストレーションの例によって有効にする必要があります。
これまでの研究では、主に「選択してから編成する」パラダイムに従って、ICL のサンプルの選択を広範囲に調査してきましたが、そのようなアプローチではサンプル間の内部関係が無視されることが多く、トレーニングと推論の間に不一致が存在します。
この論文では、この問題を $\textit{se}$quential $\textit{se}$lection 問題として定式化し、LLM のフィードバックを活用するシーケンシャル認識手法である $\texttt{Se}^2$ を導入します。
コンテキストを変化させ、例間の相互関係や連続した情報を把握するのに役立ち、ICL プロンプトのコンテキスト性と関連性を大幅に強化します。
一方、ビームサーチを利用してサンプルシーケンスを検索および構築し、品質と多様性の両方を向上させます。
8 つの異なるカテゴリからの 23 の NLP タスクにわたる広範な実験により、$\texttt{Se}^2$ が競合ベースラインを大幅に上回り、ランダム選択に対して 42% の相対的な改善を達成することが示されました。
さらに詳細な分析により、提案された戦略の有効性が示され、さまざまなシナリオにわたる $\texttt{Se}^2$ の卓越した安定性と適応性が強調されます。
私たちのコードは、将来の研究を容易にするために公開されます。

要約(オリジナル)

The remarkable capability of large language models (LLMs) for in-context learning (ICL) needs to be activated by demonstration examples. Prior work has extensively explored the selection of examples for ICL, predominantly following the ‘select then organize’ paradigm, such approaches often neglect the internal relationships between examples and exist an inconsistency between the training and inference. In this paper, we formulate the problem as a $\textit{se}$quential $\textit{se}$lection problem and introduce $\texttt{Se}^2$, a sequential-aware method that leverages the LLM’s feedback on varying context, aiding in capturing inter-relationships and sequential information among examples, significantly enriching the contextuality and relevance of ICL prompts. Meanwhile, we utilize beam search to seek and construct example sequences, enhancing both quality and diversity. Extensive experiments across 23 NLP tasks from 8 distinct categories illustrate that $\texttt{Se}^2$ markedly surpasses competitive baselines and achieves 42% relative improvement over random selection. Further in-depth analysis show the effectiveness of proposed strategies, highlighting $\texttt{Se}^2$’s exceptional stability and adaptability across various scenarios. Our code will be released to facilitate future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google