Ambiguity-Aware In-Context Learning with Large Language Models

要約

インコンテキスト学習 (ICL)、つまり LLM にタスク固有のデモンストレーションをいくつかだけ見せることで、タスク固有の微調整を必要とせずに下流の利益につながりました。
ただし、LLM はプロンプトの選択に敏感であるため、ICL に適したデモンストレーションをどのように選択するかが重要な研究課題となります。
効果的な戦略の 1 つは、テキスト検索ツールを使用して ICL デモンストレーションとテスト入力の間の意味的類似性を活用することですが、そのタスクに関する LLM の既存の知識が考慮されていないため、最適とは言えません。
以前の研究 (Lyu et al., 2023) から、デモンストレーションと組み合わせられたラベルがモデルの予測にバイアスをかけることはすでにわかっています。
これにより、タスク、特に出力ラベル空間に関する LLM の既存の知識を考慮することが、より良いデモンストレーション選択戦略に役立つのではないかという仮説が導き出されます。
3 つのテキスト分類タスクについて広範な実験を行った結果、意味的に類似した ICL デモンストレーションを選択するだけでなく、テスト例に固有のラベルのあいまいさを解決するのに役立つデモンストレーションを選択することも有益であることがわかりました。
興味深いことに、LLM が以前に誤って分類し、テスト例の決定境界に該当するデモンストレーションを含めることで、最大のパフォーマンス向上がもたらされることがわかりました。

要約(オリジナル)

In-context learning (ICL) i.e. showing LLMs only a few task-specific demonstrations has led to downstream gains with no task-specific fine-tuning required. However, LLMs are sensitive to the choice of prompts, and therefore a crucial research question is how to select good demonstrations for ICL. One effective strategy is leveraging semantic similarity between the ICL demonstrations and test inputs by using a text retriever, which however is sub-optimal as that does not consider the LLM’s existing knowledge about that task. From prior work (Lyu et al., 2023), we already know that labels paired with the demonstrations bias the model predictions. This leads us to our hypothesis whether considering LLM’s existing knowledge about the task, especially with respect to the output label space can help in a better demonstration selection strategy. Through extensive experimentation on three text classification tasks, we find that it is beneficial to not only choose semantically similar ICL demonstrations but also to choose those demonstrations that help resolve the inherent label ambiguity surrounding the test example. Interestingly, we find that including demonstrations that the LLM previously mis-classified and also fall on the test example’s decision boundary, brings the most performance gain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google