DEEM: Dynamic Experienced Expert Modeling for Stance Detection

要約

最近の研究では、大規模言語モデル (LLM) を使用してスタンス検出タスクを解決するという予備的な試みが行われ、有望な結果が示されています。
ただし、スタンスの検出には通常詳細な背景知識が必要であることを考慮すると、バニラ推論方法では専門的かつ正確な分析を行うための領域知識が無視される可能性があります。
したがって、特にスタンスを検出するために特定の専門家 (つまり、マルチエージェント) をシミュレートする LLM の生成機能を活用する場合、LLM 推論にはまだ改善の余地があります。
この論文では、詳細な説明を必要とし、固定エキスパートを使用する既存のマルチエージェント作業とは異なり、生成された経験豊富なエキスパートを活用し、LLM にセミパラメトリックな方法で推論させることができる動的経験エキスパート モデリング (DEEM) 手法を提案します。
専門家はより一般化可能で信頼性が高くなります。
実験結果は、DEEM が 3 つの標準ベンチマークで一貫して最高の結果を達成し、自己無撞着推論による手法を上回り、LLM のバイアスを低減することを示しています。

要約(オリジナル)

Recent work has made a preliminary attempt to use large language models (LLMs) to solve the stance detection task, showing promising results. However, considering that stance detection usually requires detailed background knowledge, the vanilla reasoning method may neglect the domain knowledge to make a professional and accurate analysis. Thus, there is still room for improvement of LLMs reasoning, especially in leveraging the generation capability of LLMs to simulate specific experts (i.e., multi-agents) to detect the stance. In this paper, different from existing multi-agent works that require detailed descriptions and use fixed experts, we propose a Dynamic Experienced Expert Modeling (DEEM) method which can leverage the generated experienced experts and let LLMs reason in a semi-parametric way, making the experts more generalizable and reliable. Experimental results demonstrate that DEEM consistently achieves the best results on three standard benchmarks, outperforms methods with self-consistency reasoning, and reduces the bias of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google