Towards Robust Few-Shot Text Classification Using Transformer Architectures and Dual Loss Strategies

要約

少ないショットテキスト分類には、低リソース環境で重要なアプリケーション値があります。
このペーパーでは、トランスベースのモデルの分類パフォーマンスを改善するために、適応微調整、対照学習、および正則化の最適化を組み合わせた戦略を提案します。
少ない2.0データセットでの実験は、T5-Small、Deberta-V3、およびRoberta-Baseが少ないショットタスク、特に5ショット設定でうまく機能することを示しています。
また、この実験では、異なる関係カテゴリの分類難易度に大きな違いがあることがわかりました。
一部のカテゴリには、ファジーセマンティック境界または複雑な特徴分布があるため、標準のクロスエントロピー損失がカテゴリを区別するために必要な識別情報を学習することが困難です。
対照的な損失と正則化の損失を導入することにより、モデルの一般化能力が強化され、少ないショット環境で過剰適合の問題を効果的に軽減します。
さらに、研究結果は、より強力な自己触媒メカニズムを備えたトランスモデルまたは生成アーキテクチャを使用することで、少数のショット分類の安定性と精度を改善するのに役立つことを示しています。

要約(オリジナル)

Few-shot text classification has important application value in low-resource environments. This paper proposes a strategy that combines adaptive fine-tuning, contrastive learning, and regularization optimization to improve the classification performance of Transformer-based models. Experiments on the FewRel 2.0 dataset show that T5-small, DeBERTa-v3, and RoBERTa-base perform well in few-shot tasks, especially in the 5-shot setting, which can more effectively capture text features and improve classification accuracy. The experiment also found that there are significant differences in the classification difficulty of different relationship categories. Some categories have fuzzy semantic boundaries or complex feature distributions, making it difficult for the standard cross entropy loss to learn the discriminative information required to distinguish categories. By introducing contrastive loss and regularization loss, the generalization ability of the model is enhanced, effectively alleviating the overfitting problem in few-shot environments. In addition, the research results show that the use of Transformer models or generative architectures with stronger self-attention mechanisms can help improve the stability and accuracy of few-shot classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google