Transformer-based approaches to Sentiment Detection

要約

転移学習法の使用は、複数のドメインにわたる自然学習処理 (NLP) タスクにおける現在のブレークスルーの主な原因です。
感情検出の問題を解決するために、テキスト分類のための 4 つの異なるタイプのよく知られた最先端の変換モデルのパフォーマンスを調べました。
Bidirectional Encoder Representations from Transformers (BERT)、Robustly Optimized BERT Pre-training Approach (RoBERTa)、BERT の蒸留バージョン (DistilBERT)、および大規模な双方向ニューラル ネットワーク アーキテクチャ (XLNet) などのモデルが提案されました。
テキスト内の災害を検出するために使用された 4 つのモデルのパフォーマンスが比較されました。
すべてのモデルは十分に機能し、変換器ベースのモデルがテキスト内の災害の検出に適していることを示しています。
RoBERTa Transformer モデルは、82.6% のスコアでテスト データセットで最高のパフォーマンスを発揮し、品質予測に強く推奨されます。
さらに、学習アルゴリズムのパフォーマンスは、前処理手法、語彙内の単語の性質、不均衡なラベル付け、およびモデル パラメーターの影響を受けることを発見しました。

要約(オリジナル)

The use of transfer learning methods is largely responsible for the present breakthrough in Natural Learning Processing (NLP) tasks across multiple domains. In order to solve the problem of sentiment detection, we examined the performance of four different types of well-known state-of-the-art transformer models for text classification. Models such as Bidirectional Encoder Representations from Transformers (BERT), Robustly Optimized BERT Pre-training Approach (RoBERTa), a distilled version of BERT (DistilBERT), and a large bidirectional neural network architecture (XLNet) were proposed. The performance of the four models that were used to detect disaster in the text was compared. All the models performed well enough, indicating that transformer-based models are suitable for the detection of disaster in text. The RoBERTa transformer model performs best on the test dataset with a score of 82.6% and is highly recommended for quality predictions. Furthermore, we discovered that the learning algorithms’ performance was influenced by the pre-processing techniques, the nature of words in the vocabulary, unbalanced labeling, and the model parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google