Generation-driven Contrastive Self-training for Zero-shot Text Classification with Instruction-following LLM

要約

ゼロショット言語理解における大規模言語モデル (LLM) の驚くべきパフォーマンスが大きな注目を集めています。
ただし、大規模な推論やドメイン固有の微調整に LLM を採用するには、モデルのサイズが大きいため、膨大な計算リソースが必要になります。
これらの制限を克服するために、LLM の強力な生成力を活用して、より小さく、より適応性のある言語モデルのトレーニングを支援する新しい方法、すなわち GenCo を導入します。
私たちの方法では、LLM は 2 つの重要な方法で、より小規模なモデルの自己学習ループで重要な役割を果たします。
まず、LLM を使用して各入力インスタンスをさまざまな継続で拡張し、理解を深められるように意味論的なコンテキストを強化します。
次に、予測されたラベルに基づいて入力テキストを書き換えることにより、追加の高品質のトレーニング ペアを作成するのに役立ちます。
これにより、生成されたテキストが予測ラベルとの関連性が高く、擬似ラベル付け時の予測誤差が軽減されると同時に、大量のラベルなしテキストへの依存が軽減されます。
私たちの実験では、限られた (元の $<5\%$) のドメイン内テキスト データしか利用できない場合、GenCo は以前の最先端の方法よりも優れたパフォーマンスを発揮します。 特に、私たちのアプローチは人間のプロンプトを使用した Alpaca-7B のパフォーマンスを上回り、自己トレーニングに LLM を活用する可能性を強調しています。

要約(オリジナル)

The remarkable performance of large language models (LLMs) in zero-shot language understanding has garnered significant attention. However, employing LLMs for large-scale inference or domain-specific fine-tuning requires immense computational resources due to their substantial model size. To overcome these limitations, we introduce a novel method, namely GenCo, which leverages the strong generative power of LLMs to assist in training a smaller and more adaptable language model. In our method, an LLM plays an important role in the self-training loop of a smaller model in two important ways. Firstly, the LLM is used to augment each input instance with a variety of possible continuations, enriching its semantic context for better understanding. Secondly, it helps crafting additional high-quality training pairs, by rewriting input texts conditioned on predicted labels. This ensures the generated texts are highly relevant to the predicted labels, alleviating the prediction error during pseudo-labeling, while reducing the dependency on large volumes of unlabeled text. In our experiments, GenCo outperforms previous state-of-the-art methods when only limited ($<5\%$ of original) in-domain text data is available. Notably, our approach surpasses the performance of Alpaca-7B with human prompts, highlighting the potential of leveraging LLM for self-training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google