Sentiment analysis in Tourism: Fine-tuning BERT or sentence embeddings concatenation?

要約

Transformers の双方向エンコーダ表現が、固有表現認識、質問と回答、感情分析などの自然言語処理タスクを作成する際に最も強力な手法であることは間違いありませんが、従来の手法の使用は、最新のモデルを改善するための大きな可能性を残しています。
特に単語のトークン化技術と埋め込みだけでなく、現在各アーキテクチャの中核となっているニューラル ネットワーク アーキテクチャの改善も含まれます。
最近の。
この論文では、トランスフォーマーからの双方向エンコーダー表現の微調整と、スタックされた双方向長短期メモリ-双方向ゲートリカレントユニットモデルのパフォーマンスを向上させるために 2 つのエンベディングを連結する方法との比較研究を行います。
これら 2 つのアプローチは、モロッコのショッピング プレイスのセンチメント分析に適用されます。
最良の学習率の検索が 2 つのアプローチのレベルで行われ、2 番目のアプローチに関して各文埋め込みの組み合わせに対して最良のオプティマイザーの比較が行われました。

要約(オリジナル)

Undoubtedly that the Bidirectional Encoder representations from Transformers is the most powerful technique in making Natural Language Processing tasks such as Named Entity Recognition, Question & Answers or Sentiment Analysis, however, the use of traditional techniques remains a major potential for the improvement of recent models, in particular word tokenization techniques and embeddings, but also the improvement of neural network architectures which are now the core of each architecture. recent. In this paper, we conduct a comparative study between Fine-Tuning the Bidirectional Encoder Representations from Transformers and a method of concatenating two embeddings to boost the performance of a stacked Bidirectional Long Short-Term Memory-Bidirectional Gated Recurrent Units model; these two approaches are applied in the context of sentiment analysis of shopping places in Morocco. A search for the best learning rate was made at the level of the two approaches, and a comparison of the best optimizers was made for each sentence embedding combination with regard to the second approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google