Reasoner Outperforms: Generative Stance Detection with Rationalization for Social Media

要約

スタンス検出は、ユーザーが作成したコンテンツを分析して信頼を損なう偏見や有害な物語を特定することにより、人間中心の Web を促進するために不可欠です。
大規模言語モデル (LLM) の開発により、既存のアプローチはスタンス検出を分類問題として扱い、複雑なグループ相互作用をモデル化するための堅牢な方法論を提供し、自然言語タスクの機能を向上させています。
ただし、これらの方法には解釈可能性が欠けていることが多く、予測に対する透明性のある理解可能な根拠を提供する能力が制限されています。
この研究は生成的アプローチを採用しており、スタンスの予測には明示的で解釈可能な根拠が含まれており、シングルタスクおよびマルチタスク学習を通じてそれらをより小さな言語モデルに統合しています。
スタンス検出に推論を組み込むことで、小型モデル (FlanT5) が GPT-3.5 のゼロショット性能を上回り、最大 9.57% の向上を達成できることがわかりました。
さらに、私たちの結果は、推論機能はマルチタスクの学習パフォーマンスを向上させるが、シングルタスク設定では効果を低下させる可能性があることを示しています。
重要なことは、忠実な理論的根拠によって SLM への理論的蒸留が向上し、差別に対処し、信頼を育み、ソーシャル メディアでの公平な関与を促進するための、解釈可能で信頼できるシステムを構築する取り組みが前進することを実証していることです。

要約(オリジナル)

Stance detection is crucial for fostering a human-centric Web by analyzing user-generated content to identify biases and harmful narratives that undermine trust. With the development of Large Language Models (LLMs), existing approaches treat stance detection as a classification problem, providing robust methodologies for modeling complex group interactions and advancing capabilities in natural language tasks. However, these methods often lack interpretability, limiting their ability to offer transparent and understandable justifications for predictions. This study adopts a generative approach, where stance predictions include explicit, interpretable rationales, and integrates them into smaller language models through single-task and multitask learning. We find that incorporating reasoning into stance detection enables the smaller model (FlanT5) to outperform GPT-3.5’s zero-shot performance, achieving an improvement of up to 9.57%. Moreover, our results show that reasoning capabilities enhance multitask learning performance but may reduce effectiveness in single-task settings. Crucially, we demonstrate that faithful rationales improve rationale distillation into SLMs, advancing efforts to build interpretable, trustworthy systems for addressing discrimination, fostering trust, and promoting equitable engagement on social media.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google