Soft Language Prompts for Language Transfer

要約

自然言語処理 (NLP) では、言語を越えた知識伝達、特に高リソース言語と低リソース言語間の知識伝達が依然として課題となっています。
この研究は、パラメータ効率の高い微調整方法の組み合わせを通じて、言語を超えた NLP アプリケーションを改善するための洞察を提供します。
私たちは、言語固有およびタスク固有のアダプターとソフト プロンプトを組み込むことで、この言語間の伝達を強化するための戦略を体系的に探索します。
私たちは、これらの方法のさまざまな組み合わせの詳細な調査を提示し、6 つの言語にわたってその効率を調査し、私たちの知る限りでは初めてのソフト言語プロンプトの使用を含む 3 つの低リソース言語に焦点を当てます。
私たちの調査結果は、以前の研究の主張とは対照的に、言語とタスク アダプターの組み合わせが常に最適に機能するとは限らないことを示しています。
代わりに、ソフト言語プロンプトとタスク アダプターを組み合わせると、多くの場合、他の構成よりも優れたパフォーマンスが得られます。

要約(オリジナル)

Cross-lingual knowledge transfer, especially between high- and low-resource languages, remains a challenge in natural language processing (NLP). This study offers insights for improving cross-lingual NLP applications through the combination of parameter-efficient fine-tuning methods. We systematically explore strategies for enhancing this cross-lingual transfer through the incorporation of language-specific and task-specific adapters and soft prompts. We present a detailed investigation of various combinations of these methods, exploring their efficiency across six languages, focusing on three low-resource languages, including the to our knowledge first use of soft language prompts. Our findings demonstrate that in contrast to claims of previous work, a combination of language and task adapters does not always work best; instead, combining a soft language prompt with a task adapter outperforms other configurations in many cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google