Can Large Language Models Address Open-Target Stance Detection?

要約

スタンス検出 (SD) は、ターゲットに対するテキストの位置を特定し、通常は好意、反対、またはなしとしてラベル付けされます。
トレーニング中にターゲットが表示されず、入力としても提供されない最も現実的なタスクであるオープンターゲット スタンス検出 (OTSD) を紹介します。
私たちは大規模言語モデル (LLM) GPT-4o、GPT-3.5、Llama-3、および Mistral を評価し、事前定義されたターゲットから恩恵を受ける唯一の既存の作業である Target-Stance Extraction (TSE) とそれらのパフォーマンスを比較します。
TSE とは異なり、OTSD は事前定義されたリストの依存関係を削除するため、ターゲットの生成と評価がより困難になります。
また、人間の判断とよく相関するターゲットの品質を評価するための指標も提供します。
私たちの実験では、実際のターゲットがテキスト内で明示的に言及されている場合もそうでない場合も、ターゲット生成において LLM が TSE よりも優れていることが明らかになりました。
同様に、スタンス検出の場合、LLM は明示的なケースで優れており、一般に非明示的なケースでも同等のパフォーマンスを発揮します。

要約(オリジナル)

Stance detection (SD) identifies a text’s position towards a target, typically labeled as favor, against, or none. We introduce Open-Target Stance Detection (OTSD), the most realistic task where targets are neither seen during training nor provided as input. We evaluate Large Language Models (LLMs) GPT-4o, GPT-3.5, Llama-3, and Mistral, comparing their performance to the only existing work, Target-Stance Extraction (TSE), which benefits from predefined targets. Unlike TSE, OTSD removes the dependency of a predefined list, making target generation and evaluation more challenging. We also provide a metric for evaluating target quality that correlates well with human judgment. Our experiments reveal that LLMs outperform TSE in target generation when the real target is explicitly and not explicitly mentioned in the text. Likewise, for stance detection, LLMs excel in explicit cases with comparable performance in non-explicit in general.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google