Evaluating the Role of Target Arguments in Rumour Stance Classification

要約

会話スレッドを考慮して、スタンス分類は、特定のターゲットに対する返信の意見 (同意または不同意など) を識別することを目的としています。
スタンスのターゲットは、このタスクの重要な要素であると予想され、センチメント分析とは異なる主な要因の 1 つです。
ただし、最近の研究では、ターゲットを無視するモデルがターゲットを認識するモデルよりも優れていることが示されており、スタンスを予測する際にターゲットは役に立たないことが示唆されています。
この論文では、この現象をソーシャル メディア上の噂スタンス分類 (RSC) について再検討します。ターゲットは、会話内のソース ツイートによって暗示される噂話です。
モデルの堅牢性を評価し、モデルのパフォーマンスにおけるデータの役割を評価することを目的として、テストデータで敵対的攻撃を提案します。
結果は、会話スレッド全体を使用するアプローチを含む最先端のモデルが、表面的な信号に過度に依存していることを示しています。
私たちの仮説は、RSC でのターゲットに依存しない直接的な応答 (たとえば、「これは偽物です」または単に「偽物」など) の自然な高い発生率が、ターゲット忘れモデルの印象的なパフォーマンスをもたらし、ターゲット インスタンスがノイズとして扱われるリスクを強調するというものです。
トレーニング中。

要約(オリジナル)

Considering a conversation thread, stance classification aims to identify the opinion (e.g. agree or disagree) of replies towards a given target. The target of the stance is expected to be an essential component in this task, being one of the main factors that make it different from sentiment analysis. However, a recent study shows that a target-oblivious model outperforms target-aware models, suggesting that targets are not useful when predicting stance. This paper re-examines this phenomenon for rumour stance classification (RSC) on social media, where a target is a rumour story implied by the source tweet in the conversation. We propose adversarial attacks in the test data, aiming to assess the models robustness and evaluate the role of the data in the models performance. Results show that state-of-the-art models, including approaches that use the entire conversation thread, overly relying on superficial signals. Our hypothesis is that the naturally high occurrence of target-independent direct replies in RSC (e.g. ‘this is fake’ or just ‘fake’) results in the impressive performance of target-oblivious models, highlighting the risk of target instances being treated as noise during training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google