Skill-Based Few-Shot Selection for In-Context Learning

要約

インコンテキスト学習は、いくつかの例を提供することで、大規模な言語モデルを下流のタスクに適応させるパラダイムです。
少数のショットの選択、つまり各テスト インスタンスに適切な例を個別に選択することは、コンテキスト内の学習にとって重要です。
本稿では、インコンテキスト学習のためのスキルベースの少数ショット選択法であるSkill-KNNを提案します。
Skill-KNN の主な利点は次のとおりです。(1) 事前トレーニングされた埋め込みに基づく既存の手法が、ターゲット タスクにとって重要ではない表面の自然言語特徴によって容易にバイアスされる可能性があるという問題に対処します。
(2) モデルのトレーニングや微調整が必​​要ないため、サンプル バンクを頻繁に拡張または変更する場合に適しています。
重要な洞察は、モデル自体を調整するのではなく、埋め込みモデルに供給される入力を最適化することです。
技術的には、Skill-KNN は、前処理の少数ショット プロンプトを利用して、各テスト ケースと候補例のスキルベースの説明を生成し、重要でない表面特徴を排除します。
5 つのクロスドメイン セマンティック解析データセットと 6 つのバックボーン モデルにわたる実験結果は、Skill-KNN が既存の手法を大幅に上回るパフォーマンスを示しています。

要約(オリジナル)

In-context learning is the paradigm that adapts large language models to downstream tasks by providing a few examples. Few-shot selection — selecting appropriate examples for each test instance separately — is important for in-context learning. In this paper, we propose Skill-KNN, a skill-based few-shot selection method for in-context learning. The key advantages of Skill-KNN include: (1) it addresses the problem that existing methods based on pre-trained embeddings can be easily biased by surface natural language features that are not important for the target task; (2) it does not require training or fine-tuning of any models, making it suitable for frequently expanding or changing example banks. The key insight is to optimize the inputs fed into the embedding model, rather than tuning the model itself. Technically, Skill-KNN generates the skill-based descriptions for each test case and candidate example by utilizing a pre-processing few-shot prompting, thus eliminating unimportant surface features. Experimental results across five cross-domain semantic parsing datasets and six backbone models show that Skill-KNN significantly outperforms existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google