WC-SBERT: Zero-Shot Text Classification via SBERT with Self-Training for Wikipedia Categories

要約

私たちの研究は、NLP におけるゼロショット テキスト分類問題の解決に焦点を当てており、特に革新的な自己トレーニング戦略に重点を置いています。
この目的を達成するために、トレーニングにテキストではなくラベルを使用し、モデルのトレーニング時間を大幅に短縮する新しい自己トレーニング戦略を提案します。
具体的には、ウィキペディアのカテゴリをトレーニング セットとして使用し、SBERT 事前トレーニング モデルを活用して、同じテキスト内のカテゴリのペア間に正の相関を確立し、連想トレーニングを促進します。
新しいテスト データセットについては、元の自己トレーニング アプローチを改善し、事前のトレーニングと各ターゲット データセットからのデータのテストの必要性を排除しました。
代わりに、ゼロショット シナリオをより適切に近似するために、統合トレーニング データセットとして Wikipedia を採用します。
この変更により、さまざまなデータセット間での迅速な微調整と推論が可能になり、自己トレーニングに必要な時間を大幅に短縮できます。
私たちの実験結果は、この方法が数分以内にモデルをターゲット データセットに適応できることを示しています。
他の BERT ベースの変換モデルと比較して、私たちのアプローチは、実際のテキストではなくラベルのみでトレーニングすることでトレーニング データの量を大幅に削減し、統合されたトレーニング セットを利用することでトレーニング効率を大幅に向上させます。
さらに、私たちの方法は、Yahoo Topic と AG News の両方のデータセットで最先端の結果を達成します。

要約(オリジナル)

Our research focuses on solving the zero-shot text classification problem in NLP, with a particular emphasis on innovative self-training strategies. To achieve this objective, we propose a novel self-training strategy that uses labels rather than text for training, significantly reducing the model’s training time. Specifically, we use categories from Wikipedia as our training set and leverage the SBERT pre-trained model to establish positive correlations between pairs of categories within the same text, facilitating associative training. For new test datasets, we have improved the original self-training approach, eliminating the need for prior training and testing data from each target dataset. Instead, we adopt Wikipedia as a unified training dataset to better approximate the zero-shot scenario. This modification allows for rapid fine-tuning and inference across different datasets, greatly reducing the time required for self-training. Our experimental results demonstrate that this method can adapt the model to the target dataset within minutes. Compared to other BERT-based transformer models, our approach significantly reduces the amount of training data by training only on labels, not the actual text, and greatly improves training efficiency by utilizing a unified training set. Additionally, our method achieves state-of-the-art results on both the Yahoo Topic and AG News datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google