Stance Detection with Collaborative Role-Infused LLM-Based Agents

要約

スタンス検出は、ターゲットに対するテキスト内のスタンスを自動的に検出します。これは、Web やソーシャル メディアのリサーチにおけるコンテンツ分析に不可欠です。
LLM は有望な機能にもかかわらず、スタンス検出に直接適用すると課題に直面します。
まず、スタンス検出には、イベント関連の用語の解読からソーシャル メディア プラットフォームでの表現スタイルの理解まで、多面的な知識が必要です。
第二に、スタンスはテキスト内で明白に述べられているのではなく、微妙に埋め込まれていることが多いため、スタンスの検出には、著者の暗黙の視点を推測するための高度な推論が必要です。
これらの課題に対処するために、私たちは 3 段階のフレームワーク COLA (Collaborative rOle-infused LLM-based Agents の略) を設計します。このフレームワークでは、LLM に個別の役割が指定され、各役割が独自に貢献する協調システムが作成されます。
まず、多次元テキスト分析の段階で、言語の専門家、ドメインのスペシャリスト、ソーシャル メディアのベテランとして機能するように LLM を構成し、テキストの多面的な分析を行うことで、最初の課題を克服します。
次に、推論強化された議論の段階では、潜在的なスタンスごとに、それを主張する特定の LLM ベースのエージェントを指定し、LLM がテキストの特徴とスタンスの間の論理的なつながりを検出するように導き、2 番目の課題に取り組みます。
最後に、スタンス結論段階では、最終意思決定エージェントが以前の洞察を統合してスタンスを決定します。
私たちのアプローチは、余分な注釈付きデータとモデルのトレーニングを回避し、非常に使いやすいものです。
複数のデータセットにわたって最先端のパフォーマンスを実現します。
アブレーション研究により、スタンス検出の処理における各設計役割の有効性が検証されます。
さらなる実験により、私たちのアプローチの説明可能性と多用途性が実証されました。
私たちのアプローチは使いやすさ、正確さ、有効性、説明可能性、多用途性に優れており、その価値を際立たせています。

要約(オリジナル)

Stance detection automatically detects the stance in a text towards a target, vital for content analysis in web and social media research. Despite their promising capabilities, LLMs encounter challenges when directly applied to stance detection. First, stance detection demands multi-aspect knowledge, from deciphering event-related terminologies to understanding the expression styles in social media platforms. Second, stance detection requires advanced reasoning to infer authors’ implicit viewpoints, as stance are often subtly embedded rather than overtly stated in the text. To address these challenges, we design a three-stage framework COLA (short for Collaborative rOle-infused LLM-based Agents) in which LLMs are designated distinct roles, creating a collaborative system where each role contributes uniquely. Initially, in the multidimensional text analysis stage, we configure the LLMs to act as a linguistic expert, a domain specialist, and a social media veteran to get a multifaceted analysis of texts, thus overcoming the first challenge. Next, in the reasoning-enhanced debating stage, for each potential stance, we designate a specific LLM-based agent to advocate for it, guiding the LLM to detect logical connections between text features and stance, tackling the second challenge. Finally, in the stance conclusion stage, a final decision maker agent consolidates prior insights to determine the stance. Our approach avoids extra annotated data and model training and is highly usable. We achieve state-of-the-art performance across multiple datasets. Ablation studies validate the effectiveness of each design role in handling stance detection. Further experiments have demonstrated the explainability and the versatility of our approach. Our approach excels in usability, accuracy, effectiveness, explainability and versatility, highlighting its value.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google