UniGen: Universal Domain Generalization for Sentiment Classification via Zero-shot Dataset Generation

要約

事前学習された言語モデルは、プロンプトベースの少数ショット学習により優れた柔軟性と汎用性を示すが、パラメータサイズが大きく、推論への適用が限定的であるという問題を抱えている。最近の研究では、効率的な推論を実現するために、PLMをデータセットジェネレータとして使用し、タスクに特化した小さなモデルを学習することが提案されている。しかし、PLMはドメイン固有のデータセットを生成する傾向があるため、様々なドメインへの適用には限界がある。本研究では、対象領域に関係なくデータセットを生成する、普遍的な領域汎化の新しいアプローチを提案する。これにより、ラベル空間を共有するどのようなドメインに対しても、小さなタスクモデルを一般化することが可能となり、データセット生成パラダイムの実世界への適用性が高まる。我々の実験によれば、提案手法は、PLMよりも桁違いに小さいパラメータセットを用いながら、様々なドメインにわたる汎化を達成する。

要約(オリジナル)

Although pre-trained language models have exhibited great flexibility and versatility with prompt-based few-shot learning, they suffer from the extensive parameter size and limited applicability for inference. Recent studies have suggested that PLMs be used as dataset generators and a tiny task-specific model be trained to achieve efficient inference. However, their applicability to various domains is limited because they tend to generate domain-specific datasets. In this work, we propose a novel approach to universal domain generalization that generates a dataset regardless of the target domain. This allows for generalization of the tiny task model to any domain that shares the label space, thus enhancing the real-world applicability of the dataset generation paradigm. Our experiments indicate that the proposed method accomplishes generalizability across various domains while using a parameter set that is orders of magnitude smaller than PLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL