‘Reasoning’ with Rhetoric: On the Style-Evidence Tradeoff in LLM-Generated Counter-Arguments

要約

大規模な言語モデル（LLMS）は、エビデンスに基づいたスタイルの反論を生成する上で重要な役割を果たしますが、実際のアプリケーションでの有効性は露出度が低くなっています。
以前の研究では、説得力のある議論にとって重要な証拠とスタイルのバランスをしばしば無視しています。
これに対処するために、Counterfireにおける様式化されたエビデンスに基づいた反論生成の有効性を評価しました。これは、RedditのShangeMyViewコミュニティへの反論を修正することによって生成された38,000の反論の新しいデータセットであり、異なる談話スタイルに従います。
GPT-3.5、Palm-2、Koala-13bなどの基本的および微調整されたモデルからの一般的および様式化された反論を評価し、修辞的な質と説得力に焦点を当てた新しいモデル（GPT-4O、Claude Haiku、llama-3.1）を評価しました。
私たちの調査結果は、人間が元の出力よりも様式化された反論を好むことを明らかにしています。GPT-3.5ターボはうまく機能していますが、まだ修辞的な質や説得力の人間の基準に達していません。
さらに、私たちの作品は、証拠統合と議論の質の間のトレードオフに関する洞察を提供する人間の好みのラベルを使用して、スタイルコントロールを研究するための新しい議論のトリプレットデータセットを作成しました。

要約(オリジナル)

Large language models (LLMs) play a key role in generating evidence-based and stylistic counter-arguments, yet their effectiveness in real-world applications has been underexplored. Previous research often neglects the balance between evidentiality and style, which are crucial for persuasive arguments. To address this, we evaluated the effectiveness of stylized evidence-based counter-argument generation in Counterfire, a new dataset of 38,000 counter-arguments generated by revising counter-arguments to Reddit’s ChangeMyView community to follow different discursive styles. We evaluated generic and stylized counter-arguments from basic and fine-tuned models such as GPT-3.5, PaLM-2, and Koala-13B, as well as newer models (GPT-4o, Claude Haiku, LLaMA-3.1) focusing on rhetorical quality and persuasiveness. Our findings reveal that humans prefer stylized counter-arguments over the original outputs, with GPT-3.5 Turbo performing well, though still not reaching human standards of rhetorical quality nor persuasiveness. Additionally, our work created a novel argument triplets dataset for studying style control, with human preference labels that provide insights into the tradeoffs between evidence integration and argument quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google