Generative Zero-Shot Prompt Learning for Cross-Domain Slot Filling with Inverse Prompting

要約

ゼロショット クロスドメイン スロット充填は、ラベル付きソース ドメインからラベルなしターゲット ドメインに知識を転送することを目的としています。
既存のモデルは、スロットの説明と例をエンコードするか、ヒューリスティック ルールを使用して手作りの質問テンプレートを設計するかのいずれかであり、汎化機能や堅牢性に問題があります。
この論文では、クロスドメインスロット充填のための生成ゼロショットプロンプト学習フレームワークを提案し、以前の研究よりも一般化と堅牢性の両方を向上させます。
さらに、複数の予測問題を回避するために異なるスロット タイプを区別する新しい逆プロンプト戦略と、より少ないプロンプト パラメーターをトレーニングするだけでより高いパフォーマンスを向上させる効率的なプロンプト チューニング戦略を導入します。
実験と分析により、私たちが提案したフレームワークの有効性、特に目に見えないスロットでの大幅な改善 (+13.44% F1) が実証されました。

要約(オリジナル)

Zero-shot cross-domain slot filling aims to transfer knowledge from the labeled source domain to the unlabeled target domain. Existing models either encode slot descriptions and examples or design handcrafted question templates using heuristic rules, suffering from poor generalization capability or robustness. In this paper, we propose a generative zero-shot prompt learning framework for cross-domain slot filling, both improving generalization and robustness than previous work. Besides, we introduce a novel inverse prompting strategy to distinguish different slot types to avoid the multiple prediction problem, and an efficient prompt-tuning strategy to boost higher performance by only training fewer prompt parameters. Experiments and analysis demonstrate the effectiveness of our proposed framework, especially huge improvements (+13.44% F1) on the unseen slots.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google