UniGen: Universal Domain Generalization for Sentiment Classification via Zero-shot Dataset Generation

要約

事前トレーニングされた言語モデルは、プロンプトベースの少数ショット学習で優れた柔軟性と多用途性を示しましたが、パラメータのサイズが膨大で、推論への適用性が限られているという問題があります。
最近の研究では、PLM をデータセット ジェネレーターとして使用し、タスク固有の小さなモデルをトレーニングして効率的な推論を実現することが提案されています。
ただし、ドメイン固有のデータセットが生成される傾向があるため、さまざまなドメインへの適用性は限られています。
この研究では、ターゲット ドメインに関係なくデータセットを生成するユニバーサル ドメイン一般化への新しいアプローチを提案します。
これにより、ラベル空間を共有する任意のドメインにタイニー タスク モデルを一般化できるため、データセット生成パラダイムの実世界への適用可能性が高まります。
私たちの実験は、提案された方法が PLM よりも桁違いに小さいパラメーター セットを使用しながら、さまざまなドメインにわたる一般化可能性を達成することを示しています。

要約(オリジナル)

Although pre-trained language models have exhibited great flexibility and versatility with prompt-based few-shot learning, they suffer from the extensive parameter size and limited applicability for inference. Recent studies have suggested that PLMs be used as dataset generators and a tiny task-specific model be trained to achieve efficient inference. However, their applicability to various domains is limited because they tend to generate domain-specific datasets. In this work, we propose a novel approach to universal domain generalization that generates a dataset regardless of the target domain. This allows for generalization of the tiny task model to any domain that shares the label space, thus enhancing the real-world applicability of the dataset generation paradigm. Our experiments indicate that the proposed method accomplishes generalizability across various domains while using a parameter set that is orders of magnitude smaller than PLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google