Adapt in Contexts: Retrieval-Augmented Domain Adaptation via In-Context Learning

要約

大規模言語モデル (LLM) は、インコンテキスト学習として知られる少数のショットによる推論でその機能を実証しました。
ただし、ドメイン内のデモンストレーションは実際のシナリオで常にすぐに利用できるとは限らず、クロスドメインのコンテキスト内学習につながります。
さらに、LLM は依然として、目に見えない未知の領域におけるロングテール知識の課題に直面しています。
上記の制限は、監視されていないドメイン適応 (UDA) の必要性を示しています。
この論文では、ターゲット ラベルを使用せずに言語モデルをソース ドメインからターゲット ドメインに適応させるための、コンテキスト内学習設定の下で UDA 問題を研究します。
中心となるアイデアは、クエリに最も類似したクロスドメイン要素のサブセットを取得し、拡張クロスと同時にターゲット ドメインの分布と識別タスク信号の両方を学習することで、コンテキスト内で適応する言語モデルを導き出すことです。
-ドメインのコンテキスト内の例。
言語モデリングを通じてターゲットの分布を学習するために、さまざまな LM アーキテクチャを考慮して、さまざまなプロンプトおよびトレーニング戦略を考案します。
感情分析 (SA) および固有表現認識 (NER) タスクに関する広範な実験により、ドメイン移管に対する ICL の有効性を徹底的に研究し、ベースライン モデルと比較して大幅な改善を実証しました。

要約(オリジナル)

Large language models (LLMs) have showcased their capability with few-shot inference known as in-context learning. However, in-domain demonstrations are not always readily available in real scenarios, leading to cross-domain in-context learning. Besides, LLMs are still facing challenges in long-tail knowledge in unseen and unfamiliar domains. The above limitations demonstrate the necessity of Unsupervised Domain Adaptation (UDA). In this paper, we study the UDA problem under an in-context learning setting to adapt language models from the source domain to the target domain without any target labels. The core idea is to retrieve a subset of cross-domain elements that are the most similar to the query, and elicit language model to adapt in an in-context manner by learning both target domain distribution and the discriminative task signal simultaneously with the augmented cross-domain in-context examples. We devise different prompting and training strategies, accounting for different LM architectures to learn the target distribution via language modeling. With extensive experiments on Sentiment Analysis (SA) and Named Entity Recognition (NER) tasks, we thoroughly study the effectiveness of ICL for domain transfer and demonstrate significant improvements over baseline models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google