HAlf-MAsked Model for Named Entity Sentiment analysis

要約

固有表現感情分析 (NESA) は、自然言語処理 (NLP) で最も活発に開発されているアプリケーション ドメインの 1 つです。
ソーシャル メディア NESA は、さまざまな分析システムを構築し、特定の人物や企業のメディア イメージを監視するために、ニュース フローにおけるセンチメントの傾向を検出して追跡することが重要であるため、世論分析の重要な分野です。
この論文では、RuSentNE-23 の評価におけるさまざまな変圧器ベースのソリューション NESA を研究します。
BERT のようなモデルは有効であるにもかかわらず、RuSentNE-23 データで高精度を達成する際の主な障害であると思われるオーバーフィッティングなどの特定の課題に依然として苦戦する可能性があります。
この問題を克服するためのいくつかのアプローチを紹介します。その中には、最終的な予測を行う前に、マスクされたエンティティを含む指定されたデータをさらに渡す新しい手法があり、感情を予測する正確なエンティティがわかっている場合にモデルからのロジットを組み合わせることができ、
そうならないとき。
この手法を利用して、データの異なるサブセットでトレーニングされた複数の BERT のようなモデルをアンサンブルして、全体的なパフォーマンスを向上させます。
私たちが提案したモデルは、RuSentNE-23 評価データで最良の結果を達成し、エンティティレベルのセンチメント分析における一貫性の向上を示しています。

要約(オリジナル)

Named Entity Sentiment analysis (NESA) is one of the most actively developing application domains in Natural Language Processing (NLP). Social media NESA is a significant field of opinion analysis since detecting and tracking sentiment trends in the news flow is crucial for building various analytical systems and monitoring the media image of specific people or companies. In this paper, we study different transformers-based solutions NESA in RuSentNE-23 evaluation. Despite the effectiveness of the BERT-like models, they can still struggle with certain challenges, such as overfitting, which appeared to be the main obstacle in achieving high accuracy on the RuSentNE-23 data. We present several approaches to overcome this problem, among which there is a novel technique of additional pass over given data with masked entity before making the final prediction so that we can combine logits from the model when it knows the exact entity it predicts sentiment for and when it does not. Utilizing this technique, we ensemble multiple BERT- like models trained on different subsets of data to improve overall performance. Our proposed model achieves the best result on RuSentNE-23 evaluation data and demonstrates improved consistency in entity-level sentiment analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google