SwitchPrompt: Learning Domain-Specific Gated Soft Prompts for Classification in Low-Resource Domains

要約

事前トレーニング済みの言語モデルを促すと、自然言語処理タスク全体で有望な結果が得られますが、事前トレーニング データとダウンストリーム タスクの間にドメイン ギャップがあるため、リソースの少ないドメインに適用すると効果が低下します。
この作業では、一般的なドメインから多様な低リソース ドメインまでのデータセットでトレーニングされた言語モデルを適応させるために、SwitchPrompt と呼ばれる斬新で軽量なプロンプト方法論でこのギャップを埋めます。
SwitchPrompt は、トレーニング可能なゲート プロンプトでドメイン固有のキーワードを使用して、ドメイン指向のプロンプトを提供します。つまり、一般的なドメイン言語モデルのターゲット ドメインに関する効果的なガイダンスです。
3 つのテキスト分類ベンチマークに関する数回の実験では、SwitchPrompt を使用した場合の一般ドメインの事前トレーニング済み言語モデルの有効性が実証されています。
それらは、ベースラインの最先端のプロンプト方法でトレーニングされたドメイン固有の対応するものよりも、精度で最大 10.7% のパフォーマンス向上を達成することさえしばしばあります。
この結果は、SwitchPrompt がドメイン固有の言語モデルの事前トレーニングの必要性を効果的に削減することを示しています。

要約(オリジナル)

Prompting pre-trained language models leads to promising results across natural language processing tasks but is less effective when applied in low-resource domains, due to the domain gap between the pre-training data and the downstream task. In this work, we bridge this gap with a novel and lightweight prompting methodology called SwitchPrompt for the adaptation of language models trained on datasets from the general domain to diverse low-resource domains. Using domain-specific keywords with a trainable gated prompt, SwitchPrompt offers domain-oriented prompting, that is, effective guidance on the target domains for general-domain language models. Our few-shot experiments on three text classification benchmarks demonstrate the efficacy of the general-domain pre-trained language models when used with SwitchPrompt. They often even outperform their domain-specific counterparts trained with baseline state-of-the-art prompting methods by up to 10.7% performance increase in accuracy. This result indicates that SwitchPrompt effectively reduces the need for domain-specific language model pre-training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google