Mitigating Manipulation and Enhancing Persuasion: A Reflective Multi-Agent Approach for Legal Argument Generation

要約

ラージ・ランゲージ・モデル（LLM）は、法的な議論生成のためにますます研究されているが、幻覚や根拠のない説得による操作の重大なリスクを伴い、しばしば提供された事実的根拠を効果的に利用できなかったり、議論が成り立たない場合に棄権したりする。本論文では、これらの課題に対処するために設計された、新しい反射的マルチエージェントの手法を紹介する。我々のアプローチは、3重の法的議論（原告、被告、反論）を生成する反復的な洗練プロセスにおいて、要因分析者と議論研磨者という特殊なエージェントを用いる。我々は、4つの多様なLLM（GPT-4o、GPT-4o-mini、Llama-4-Maverick-17b-128e、Llama-4-Scout-17b-16e）を用いて、3つの法的シナリオにおいて、シングルエージェント、強化型プロンプトシングルエージェント、非反省型マルチエージェントベースラインに対して、Reflective Multi-Agentを評価した：議論の余地あり」、「ミスマッチ」、「議論の余地なし」。その結果、Reflective Multi-Agentが、棄権成功（論拠が得られない場合の生成の防止）において有意に優れていること、幻覚の正確さ（捏造された要因や誤って帰属された要因の減少）、特に「論証不可能な」シナリオにおいて顕著な改善が見られること、要因の利用想起の強化（提供された事例事実の利用の改善）が見られることが示された。これらの知見は、マルチエージェントの枠組みにおける構造化された考察が、LLMベースの法的議論システムにおいて倫理的説得を促進し、操作を緩和するための強固な計算可能な方法を提供することを示唆している。プロジェクトページ：https://lizhang-aiandlaw.github.io/A-Reflective-Multi-Agent-Approach-for-Legal-Argument-Generation/

要約(オリジナル)

Large Language Models (LLMs) are increasingly explored for legal argument generation, yet they pose significant risks of manipulation through hallucination and ungrounded persuasion, and often fail to utilize provided factual bases effectively or abstain when arguments are untenable. This paper introduces a novel reflective multi-agent method designed to address these challenges in the context of legally compliant persuasion. Our approach employs specialized agents–a Factor Analyst and an Argument Polisher–in an iterative refinement process to generate 3-ply legal arguments (plaintiff, defendant, rebuttal). We evaluate Reflective Multi-Agent against single-agent, enhanced-prompt single-agent, and non-reflective multi-agent baselines using four diverse LLMs (GPT-4o, GPT-4o-mini, Llama-4-Maverick-17b-128e, Llama-4-Scout-17b-16e) across three legal scenarios: ‘arguable’, ‘mismatched’, and ‘non-arguable’. Results demonstrate Reflective Multi-Agent’s significant superiority in successful abstention (preventing generation when arguments cannot be grounded), marked improvements in hallucination accuracy (reducing fabricated and misattributed factors), particularly in ‘non-arguable’ scenarios, and enhanced factor utilization recall (improving the use of provided case facts). These findings suggest that structured reflection within a multi-agent framework offers a robust computable method for fostering ethical persuasion and mitigating manipulation in LLM-based legal argumentation systems, a critical step towards trustworthy AI in law. Project page: https://lizhang-aiandlaw.github.io/A-Reflective-Multi-Agent-Approach-for-Legal-Argument-Generation/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL