Compositional Zero-Shot Domain Transfer with Text-to-Text Models

要約

ラベルの希少性は、専門分野でのタスク パフォーマンスを向上させるためのボトルネックです。
ゼロ ショット ドメイン転送のための新しい合成転送学習フレームワーク (DoT5 – ドメイン合成ゼロ ショット T5) を提案します。
ドメイン内ラベルにアクセスできない場合、DoT5 はドメイン知識 (ラベル付けされていないドメイン内フリー テキストの MLM から) とタスク知識 (より容易に入手できる一般的なドメイン データでのタスク トレーニングから) をマルチタスクの方法で共同で学習します。
タスク トレーニングの転送可能性を向上させるために、NLGU という名前の戦略を設計します。自己微調整のためのデータ拡張とラベル予測のための NLU を可能にするドメイン内のラベルからデータへの生成のために NLG を同時にトレーニングします。
NLI、テキスト要約、埋め込み学習に焦点を当てて、生物医学ドメインと放射線学のリソースの少ないサブドメインで DoT5 を評価します。
DoT5 は、マルチタスク学習による合成転移学習の有効性を示しています。
特に、DoT5 は、RadNLI の精度で 7 絶対ポイント以上、ゼロ ショット転送で現在の SOTA よりも優れています。
ドメイン内の専門知識を必要とする困難なNLIの例を解決する能力を実証するアブレーションとケーススタディでDoT5を検証します。

要約(オリジナル)

Label scarcity is a bottleneck for improving task performance in specialised domains. We propose a novel compositional transfer learning framework (DoT5 – domain compositional zero-shot T5) for zero-shot domain transfer. Without access to in-domain labels, DoT5 jointly learns domain knowledge (from MLM of unlabelled in-domain free text) and task knowledge (from task training on more readily available general-domain data) in a multi-task manner. To improve the transferability of task training, we design a strategy named NLGU: we simultaneously train NLG for in-domain label-to-data generation which enables data augmentation for self-finetuning and NLU for label prediction. We evaluate DoT5 on the biomedical domain and the resource-lean subdomain of radiology, focusing on NLI, text summarisation and embedding learning. DoT5 demonstrates the effectiveness of compositional transfer learning through multi-task learning. In particular, DoT5 outperforms the current SOTA in zero-shot transfer by over 7 absolute points in accuracy on RadNLI. We validate DoT5 with ablations and a case study demonstrating its ability to solve challenging NLI examples requiring in-domain expertise.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google