MPrompt: Exploring Multi-level Prompt Tuning for Machine Reading Comprehension

要約

大規模な言語モデルは、さまざまな自然言語タスクで優れたパフォーマンスを達成しました。
このようなアプローチの大きな欠点の 1 つは、新しいデータセットの微調整にリソースを大量に消費することです。
ソフト プロンプト チューニングは、事前トレーニング済み言語モデル (PLM) の重みを固定したまま微調整する、リソース効率の高いソリューションを提供します。
既存のソフト プロンプト手法は主に、新しいデータセットのドメインに適合するようにモデルを操作する入力に依存しないプロンプトを設計することに重点を置いています。
これらの方法では、タスクやテキストのコンテキストに関する詳細な情報が無視されることがよくあります。
本稿では、機械読解のためのマルチレベルプロンプトチューニング（MPrompt）手法を提案します。
タスク固有、ドメイン固有、およびコンテキスト固有のレベルでプロンプトを利用して、さまざまな粒度での入力セマンティクスの理解を強化します。
また、冗長性を避けるために、各ドメイン固有のプロンプトがそのドメイン内の情報に焦点を当てるように誘導するための独立性制約も提案します。
さらに、コンテキスト関連の知識をプロンプト生成に組み込んでコンテキストの関連性を高めるプロンプト ジェネレーターを紹介します。
さまざまな QA 形式の 12 のベンチマークで広範な実験を実施し、最先端の方法と比較して平均 1.94\% の改善を達成しました。

要約(オリジナル)

The large language models have achieved superior performance on various natural language tasks. One major drawback of such approaches is they are resource-intensive in fine-tuning new datasets. Soft-prompt tuning presents a resource-efficient solution to fine-tune the pre-trained language models (PLMs) while keeping their weight frozen. Existing soft prompt methods mainly focus on designing the input-independent prompts that steer the model to fit the domain of the new dataset. Those methods often ignore the fine-grained information about the task and context of the text. In this paper, we propose a multi-level prompt tuning (MPrompt) method for machine reading comprehension. It utilizes prompts at task-specific, domain-specific, and context-specific levels to enhance the comprehension of input semantics at different granularities. We also propose an independence constraint to steer each domain-specific prompt to focus on information within its domain to avoid redundancy. Moreover, we present a prompt generator that incorporates context-related knowledge in the prompt generation to enhance contextual relevancy. We conducted extensive experiments on 12 benchmarks of various QA formats and achieved an average improvement of 1.94\% over the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google