Can Large Language Models Address Open-Target Stance Detection?

要約

スタンス検出 (SD) は、ターゲットに対するテキストの位置を評価します。通常、「好意」、「反対」、「中立」などのラベルが付けられます。
オープンターゲット スタンス検出 (OTSD) を導入します。この検出では、ターゲットはトレーニング中に表示されず、入力としても提供されません。
GPT-3.5、GPT-4o、Llama 3、Mistral などの大規模言語モデル (LLM) を評価し、事前定義されたターゲットを使用する利点があるターゲット スタンス抽出 (TSE) アプローチとパフォーマンスを比較します。
LLM は、実際のターゲットがテキスト内で明示的に言及されている場合でも、明示的に言及されていない場合でも、ターゲット生成において TSE よりも優れたパフォーマンスを発揮します。
スタンス検出の場合、LLM は明示的なシナリオではパフォーマンスが向上しますが、非明示的なシナリオでは失敗します。

要約(オリジナル)

Stance detection (SD) assesses a text’s position towards a target, typically labeled as ‘favor,’ ‘against,’ or ‘neutral.’ We introduce Open-Target Stance Detection (OTSD), where targets are neither seen during training nor provided as input. Evaluating Large Language Models (LLMs) like GPT-3.5, GPT-4o, Llama 3, and Mistral, we compare their performance with the Target-Stance Extraction (TSE) approach, which has the advantage of using predefined targets. LLMs perform better than TSE in target generation when the real target is explicitly and not explicitly mentioned in the text. For stance detection, LLMs perform better in explicit scenarios but fail in non-explicit ones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google