Dynamic Knowledge Integration for Evidence-Driven Counter-Argument Generation with Large Language Models

要約

このペーパーでは、大規模な言語モデル（LLM）を使用した反論生成の改善における動的な外部知識統合の役割を調査します。
LLMは論争的なタスクで有望であることを示していますが、長く、潜在的に不正な反応を生成する傾向は、より制御された証拠に基づいたアプローチの必要性を強調しています。
引数の複雑さと評価の実現可能性のバランスをとるように特別に設計された、引数と反論ペアの新しい手動でキュレーションされたデータセットを紹介します。
また、従来の参照ベースのメトリックと比較して、人間の判断とのより強い相関を示す新しいLLM-as-a-a-Judge評価方法論も提案します。
私たちの実験結果は、Webからの動的な外部知識を統合することで、特に関連性、説得力、事実の観点から、生成された反論の品質が大幅に向上することを示しています。
調査結果は、LLMとリアルタイムの外部知識検索を組み合わせることで、より効果的で信頼性の高い反論システムを開発するための有望な方向性を提供することを示唆しています。

要約(オリジナル)

This paper investigates the role of dynamic external knowledge integration in improving counter-argument generation using Large Language Models (LLMs). While LLMs have shown promise in argumentative tasks, their tendency to generate lengthy, potentially unfactual responses highlights the need for more controlled and evidence-based approaches. We introduce a new manually curated dataset of argument and counter-argument pairs specifically designed to balance argumentative complexity with evaluative feasibility. We also propose a new LLM-as-a-Judge evaluation methodology that shows a stronger correlation with human judgments compared to traditional reference-based metrics. Our experimental results demonstrate that integrating dynamic external knowledge from the web significantly improves the quality of generated counter-arguments, particularly in terms of relatedness, persuasiveness, and factuality. The findings suggest that combining LLMs with real-time external knowledge retrieval offers a promising direction for developing more effective and reliable counter-argumentation systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google