In-Context Transfer Learning: Demonstration Synthesis by Transferring Similar Tasks

要約

インコンテキスト学習（In-Context Learning: ICL）は、大規模言語モデル（Large Language Model: LLM）が様々なタスクに適応できるように、ターゲットタスクのデモンストレーションを提供する効果的なアプローチである。デモのラベリングには高いコストがかかるため、多くの手法ではLLMを使ってゼロからデモを合成することが提案されている。しかし、ゼロから合成されたデモの品質は、LLMの能力と知識によって制限される。この問題に対処するため、我々は転移学習に着想を得て、類似のソースタスクからラベル付けされたデモンストレーションを転送することにより、ターゲットタスクのデモンストレーションを合成するIn-Context Transfer Learning (ICTL)を提案する。ICTLはソースサンプリングとターゲット転送の2つのステップから構成される。まず、ターゲットタスクに類似したソースデモをサンプリングするために、転送エラーを最小化する最適化目的を定義する。次に、サンプリングされたソースデモを、ターゲットタスクの定義と形式に合わせてターゲットタスクに転送するためにLLMを採用する。Super-NIでの実験によれば、ICTLはゼロからの合成を平均2.0%上回り、我々の手法の有効性を実証している。

要約(オリジナル)

In-context learning (ICL) is an effective approach to help large language models (LLMs) adapt to various tasks by providing demonstrations of the target task. Considering the high cost of labeling demonstrations, many methods propose synthesizing demonstrations from scratch using LLMs. However, the quality of the demonstrations synthesized from scratch is limited by the capabilities and knowledge of LLMs. To address this, inspired by transfer learning, we propose In-Context Transfer Learning (ICTL), which synthesizes target task demonstrations by transferring labeled demonstrations from similar source tasks. ICTL consists of two steps: source sampling and target transfer. First, we define an optimization objective, which minimizes transfer error to sample source demonstrations similar to the target task. Then, we employ LLMs to transfer the sampled source demonstrations to the target task, matching the definition and format of the target task. Experiments on Super-NI show that ICTL outperforms synthesis from scratch by 2.0% on average, demonstrating the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL