Sarcasm Detection in a Less-Resourced Language

要約

自然言語処理における皮肉検出タスクは、発話が皮肉であるかどうかを分類しようとします。
表面的な感情を反転させることが多いため、感情分析に関連しています。
皮肉な文は文脈に大きく依存しており、多くの場合、さまざまな非言語的な手がかりを伴うため、この作業は困難です。
関連作業のほとんどは、英語などの高リソース言語に焦点を当てています。
スロベニア語などのリソースが少ない言語の皮肉検出データセットを構築するには、機械翻訳に特化した中規模の変換モデルと非常に大規模な生成言語モデルという 2 つの最新の手法を活用します。
私たちは、翻訳されたデータセットの実行可能性と、事前訓練されたトランスフォーマーのサイズが皮肉を検出する能力にどのように影響するかを調査します。
検出モデルのアンサンブルをトレーニングし、モデルのパフォーマンスを評価します。
結果は、一般に大きなモデルが小さなモデルよりも優れたパフォーマンスを示し、アンサンブルによって皮肉の検出パフォーマンスがわずかに向上する可能性があることを示しています。
私たちの最良のアンサンブル アプローチでは、ソース言語でのアノテーターの合意に近い $\text{F}_1$-score 0.765 を達成しました。

要約(オリジナル)

The sarcasm detection task in natural language processing tries to classify whether an utterance is sarcastic or not. It is related to sentiment analysis since it often inverts surface sentiment. Because sarcastic sentences are highly dependent on context, and they are often accompanied by various non-verbal cues, the task is challenging. Most of related work focuses on high-resourced languages like English. To build a sarcasm detection dataset for a less-resourced language, such as Slovenian, we leverage two modern techniques: a machine translation specific medium-size transformer model, and a very large generative language model. We explore the viability of translated datasets and how the size of a pretrained transformer affects its ability to detect sarcasm. We train ensembles of detection models and evaluate models’ performance. The results show that larger models generally outperform smaller ones and that ensembling can slightly improve sarcasm detection performance. Our best ensemble approach achieves an $\text{F}_1$-score of 0.765 which is close to annotators’ agreement in the source language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google