Stanceformer: Target-Aware Transformer for Stance Detection

要約

スタンス検出のタスクには、特定の主題またはターゲットに対するテキスト内で表現されたスタンスを識別することが含まれます。
これまでの研究は、ターゲットに効果的に優先順位を付ける機能が欠けている既存の変圧器モデルに依存していました。
その結果、これらのモデルは、ターゲット情報を利用するか無視するかに関係なく、同様のパフォーマンスをもたらし、タスクの重要性を損ないます。
この課題に対処するために、トレーニングと推論の両方でターゲットに対する注意を強化するターゲット認識トランスフォーマー モデルである Stanceformer を導入します。
具体的には、ターゲットに割り当てられた自己注意スコアを高める \textit{ターゲット認識} マトリックスを設計します。
私たちは、最先端のモデルや大規模言語モデル (LLM) を含むさまざまな BERT ベースのモデルを使用して Stanceformer の有効性を実証し、ゼロショット データセットと並行して 3 つのスタンス検出データセットにわたるパフォーマンスを評価します。
私たちのアプローチ Stanceformer は、優れたパフォーマンスを提供するだけでなく、アスペクトベースの感情分析などの他のドメインにも一般化します。
コードは公開されています。\footnote{\scriptsize\url{https://github.com/kgarg8/Stanceformer}}

要約(オリジナル)

The task of Stance Detection involves discerning the stance expressed in a text towards a specific subject or target. Prior works have relied on existing transformer models that lack the capability to prioritize targets effectively. Consequently, these models yield similar performance regardless of whether we utilize or disregard target information, undermining the task’s significance. To address this challenge, we introduce Stanceformer, a target-aware transformer model that incorporates enhanced attention towards the targets during both training and inference. Specifically, we design a \textit{Target Awareness} matrix that increases the self-attention scores assigned to the targets. We demonstrate the efficacy of the Stanceformer with various BERT-based models, including state-of-the-art models and Large Language Models (LLMs), and evaluate its performance across three stance detection datasets, alongside a zero-shot dataset. Our approach Stanceformer not only provides superior performance but also generalizes even to other domains, such as Aspect-based Sentiment Analysis. We make the code publicly available.\footnote{\scriptsize\url{https://github.com/kgarg8/Stanceformer}}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google