Label Smoothing for Enhanced Text Sentiment Classification

要約

ラベル スムージングは​​、画像分類や音声認識などのさまざまな分野で広く使用されている手法であり、モデルの過学習に効果的に対処することで知られています。
ただし、テキスト感情分類への応用に関する研究はほとんどありません。
このギャップを埋めるために、この研究では、さまざまなレベルの平滑化を利用して感情分類のためのラベル平滑化の実装を調査します。
主な目的は、個別のラベルを平滑化されたラベル分布に変換することにより、センチメント分類の精度を向上させることです。
広範な実験を通じて、8 つの多様なデータセットと深層学習アーキテクチャ (TextCNN、BERT、RoBERTa) にわたるテキスト感情分類タスクにおけるラベル スムージングの優れたパフォーマンスを、ゼロからのトレーニングと微調整という 2 つの学習スキームの下で実証しました。

要約(オリジナル)

Label smoothing is a widely used technique in various domains, such as image classification and speech recognition, known for effectively combating model overfitting. However, there is few research on its application to text sentiment classification. To fill in the gap, this study investigates the implementation of label smoothing for sentiment classification by utilizing different levels of smoothing. The primary objective is to enhance sentiment classification accuracy by transforming discrete labels into smoothed label distributions. Through extensive experiments, we demonstrate the superior performance of label smoothing in text sentiment classification tasks across eight diverse datasets and deep learning architectures: TextCNN, BERT, and RoBERTa, under two learning schemes: training from scratch and fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google