Generation-driven Contrastive Self-training for Zero-shot Text Classification with Instruction-tuned GPT

要約

タイトル：Instruction-tuned GPTを用いたゼロショットテキスト分類のための生成駆動対比的セルフトレーニング

要約：
– GPTを用いたゼロショット分類モデルは、テストインスタンスごとに独立した予測を行う傾向にあるため、インスタンスの相関関係やターゲット空間における意思決定の境界が無視される可能性があり、最適ではない。
– この困難と制限に対処するために、新しい方法である\ourmodelshortを提案する。これは、GPTの強力な生成力を活用して、対比的な自己トレーニングにより、より小さく、より適応性の高く、効率的な文書エンコーダー分類器のトレーニングを支援するものです。
– GenCoは、次の2つの方法でGPTを適用します。まず、各入力インスタンスに対して複数の拡張テキストを生成して、インスタンスの意味的埋め込みを強化し、関連するラベルへのマッピングを改善します。次に、自己トレーニング中に予測されたラベルに条件付けられた拡張テキストを生成することで、生成プロセスがターゲット空間の意思決定の境界に合わせられます。
– 実験結果では、GenCoは限られたドメイン内テキストデータのみが利用可能な場合でも、複数のベンチマークデータセットで以前の最先端の方法を上回る性能を発揮します。

要約(オリジナル)

Moreover, GPT-based zero-shot classification models tend to make independent predictions over test instances, which can be sub-optimal as the instance correlations and the decision boundaries in the target space are ignored. To address these difficulties and limitations, we propose a new approach to zero-shot text classification, namely \ourmodelshort, which leverages the strong generative power of GPT to assist in training a smaller, more adaptable, and efficient sentence encoder classifier with contrastive self-training. Specifically, GenCo applies GPT in two ways: firstly, it generates multiple augmented texts for each input instance to enhance the semantic embedding of the instance and improve the mapping to relevant labels; secondly, it generates augmented texts conditioned on the predicted label during self-training, which makes the generative process tailored to the decision boundaries in the target space. In our experiments, GenCo outperforms previous state-of-the-art methods on multiple benchmark datasets, even when only limited in-domain text data is available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI