MICL: Improving In-Context Learning through Multiple-Label Words in Demonstration

要約

インコンテキスト学習 (ICL) により、大規模言語モデル (LLM) がサンプルとラベルのペアをデモンストレーションとして使用して新しいタスクを実行できるようになります。
ただし、デモンストレーションのバリエーションにより、パフォーマンスが大幅に異なる場合があります。
現在の研究は主にデモンストレーション サンプルの選択に焦点を当てており、サンプルとラベルのペアを作成するときにクラス名がラベル単語であると想定されています。
ただし、ラベルの単語の選択は ICL のパフォーマンスにとって重要です。
さらに、デモンストレーションで単一のクラス名を使用すると最適な結果が得られない可能性があることがわかりました。
この論文では、ICL のパフォーマンスを向上させるために、1 つのサンプルとラベルのペアで複数のラベル ワードを使用することを提案します。
さらに、サンプルとラベルの両方の観点からデモ例を最適化することを目的として、LLM の出力分布に基づいてサンプルとラベルのペアを選択および発注します。
7 つの分類データセットの評価結果は、選択、順序、数量によって戦略的に編成された複数のラベル単語を使用すると、多様なラベル情報を通じて ICL のパフォーマンスが向上することを示しています。

要約(オリジナル)

In-context learning (ICL) enables large language models (LLMs) to perform new tasks by using sample-label pairs as demonstrations. However, variations in demonstrations can lead to significantly different performances. Current research mainly focuses on selecting demonstration samples, preassuming the class name to be the label word when creating sample-label pairs. However, the choice of label words is crucial for ICL performance. In addition, we observe that using a single class name in demonstration may not yield optimal results. In this paper, we propose to use multiple label words in one sample-label pair to enhance ICL performance. Further, we select and order sample-label pairs based on LLM’s output distribution, aiming to optimize the demonstration examples from both the samples’ and labels’ perspectives. Evaluation results on seven classification datasets show that the use of multiple label words, strategically organized by their selection, order and quantity, improves ICL performance through diverse label information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google