Bot Wars Evolved: Orchestrating Competing LLMs in a Counterstrike Against Phone Scams

要約

シミュレートされた敵対的な対話を通じて電話詐欺に対抗するために、大規模な言語モデル（LLMS）詐欺師を使用したフレームワーク「ボットウォーズ」を提示します。
私たちの重要な貢献は、明示的な最適化なしに、考え方の連鎖推論を通じて戦略の出現のための正式な基盤です。
新しい2層プロンプトアーキテクチャを通じて、私たちのフレームワークにより、LLMは戦略的な一貫性を維持しながら、人口統計学的に本物の犠牲者のペルソナを作成できます。
179時間の人間の詐欺対話に対して検証された3,200の詐欺ダイアログのデータセットを使用してアプローチを評価し、複雑な敵対的ダイナミクスをキャプチャする際の有効性を示しています。
認知的、定量的、およびコンテンツ固有のメトリックによる私たちの体系的な評価は、GPT-4が対話の自然性とペルソナの信頼性に優れていることを示していますが、Deepseekは優れたエンゲージメントの持続可能性を示しています。

要約(オリジナル)

We present ‘Bot Wars,’ a framework using Large Language Models (LLMs) scam-baiters to counter phone scams through simulated adversarial dialogues. Our key contribution is a formal foundation for strategy emergence through chain-of-thought reasoning without explicit optimization. Through a novel two-layer prompt architecture, our framework enables LLMs to craft demographically authentic victim personas while maintaining strategic coherence. We evaluate our approach using a dataset of 3,200 scam dialogues validated against 179 hours of human scam-baiting interactions, demonstrating its effectiveness in capturing complex adversarial dynamics. Our systematic evaluation through cognitive, quantitative, and content-specific metrics shows that GPT-4 excels in dialogue naturalness and persona authenticity, while Deepseek demonstrates superior engagement sustainability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google