MICL: Improving In-Context Learning through Multiple-Label Words in Demonstration

要約

インコンテキスト学習 (ICL) により、大規模言語モデル (LLM) がサンプルとラベルのペアをデモンストレーションとして使用して新しいタスクを実行できるようになります。
ただし、デモンストレーションのバリエーションにより、パフォーマンスが大幅に異なる場合があります。
現在の研究は主にデモンストレーション サンプルの選択に焦点を当てており、サンプルとラベルのペアを作成するときにクラス名がラベル単語であると想定されています。
ただし、ラベルの単語の選択は ICL のパフォーマンスにとって重要です。
さらに、デモンストレーションで単一のクラス名を使用すると最適な結果が得られない可能性がありますが、1 つのサンプルとラベルのペアで複数のラベル単語を使用すると ICL のパフォーマンスが向上する可能性があることがわかりました。
この論文では、LLM の出力空間分布に基づいてデモンストレーションでサンプルとラベルの両方を整理する包括的なアプローチを提案します。
このアプローチでは、1 つのサンプルとラベルのペアで複数のラベル ワードを使用して、ラベルの指示を強化します。
7 つの分類データセットからの評価結果は、複数のラベル単語を組み込んで多様なラベル情報を提供するこのデモンストレーション編成方法が ICL のパフォーマンスを向上させることを示しています。

要約(オリジナル)

In-context learning (ICL) enables large language models (LLMs) to perform new tasks by using sample-label pairs as demonstrations. However, variations in demonstrations can lead to significantly different performances. Current research mainly focuses on selecting demonstration samples, preassuming the class name to be the label word when creating sample-label pairs. However, the choice of label words is crucial for ICL performance. Besides, we observe that using a single class name in demonstration may not yield optimal results while using multiple label words in one sample-label pair can enhance ICL performance. In this paper, we propose a comprehensive approach that organizes both samples and labels in demonstrations based on LLMs’ output space distribution. This approach uses multiple label words in one sample-label pair to enhance label instruction. Evaluation results from seven classification datasets show that this demonstration organization method, which incorporates multiple label words to provide diverse label information, improves ICL performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google