Emoji Prediction using Transformer Models

要約

近年、ソーシャルメディアでの絵文字の使用が劇的に増加しており、オンラインコミュニケーションを理解する上で絵文字は重要な要素となっています。
ただし、特定のテキスト内の絵文字の意味を予測することは、その曖昧な性質のため困難な作業です。
この研究では、広く使用されている事前トレーニング済み言語モデルである BERT を使用した絵文字予測のためのトランスフォーマー ベースのアプローチを提案します。
テキストと絵文字の両方を含む大規模なテキスト コーパスに対して BERT を微調整し、特定のテキストに最も適切な絵文字を予測しました。
私たちの実験結果は、私たちのアプローチが絵文字の予測において 75% 以上の精度でいくつかの最先端のモデルを上回っていることを示しています。
この成果は、自然言語処理、感情分析、ソーシャル メディア マーケティングに応用できる可能性があります。

要約(オリジナル)

In recent years, the use of emojis in social media has increased dramatically, making them an important element in understanding online communication. However, predicting the meaning of emojis in a given text is a challenging task due to their ambiguous nature. In this study, we propose a transformer-based approach for emoji prediction using BERT, a widely-used pre-trained language model. We fine-tuned BERT on a large corpus of text containing both text and emojis to predict the most appropriate emoji for a given text. Our experimental results demonstrate that our approach outperforms several state-of-the-art models in predicting emojis with an accuracy of over 75 percent. This work has potential applications in natural language processing, sentiment analysis, and social media marketing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google