Better Zero-Shot Reasoning with Role-Play Prompting

要約

ChatGPT などの最新の大規模言語モデル (LLM) は、ロールプレイングに優れた能力を示し、人間のキャラクターだけでなく、Linux ターミナルのような人間以外のエンティティも具現化できます。
この多用途性により、特定のオブジェクトやシステムをエミュレートするだけでなく、さまざまなコンテキスト内で人間のような複雑な相互作用や動作をシミュレートすることができます。
これらの機能によりユーザーの関与が強化され、新しい対話モードが導入されましたが、LLM の推論能力に対するロールプレイングの影響はまだ解明されていません。
この研究では、戦略的に設計されたロールプレイを促す方法論を導入し、算術、常識的推論、記号的推論などを含む 12 の多様な推論ベンチマークにわたってゼロショット設定でそのパフォーマンスを評価します。
ChatGPT や Llama 2 などのモデルを活用した私たちの実証結果は、ロールプレイによるプロンプトが、ほとんどのデータセットにおいて標準的なゼロショット アプローチを常に上回っていることを示しています。
特に、AQuA の精度は 53.5% から 63.8% に、Last Letter の精度は 23.8% から 84.2% に上昇しています。
文脈上の理解を強化するだけでなく、ロールプレイのプロンプトが暗黙の思考連鎖 (CoT) トリガーとして機能し、それによって推論の質が向上すると考えられます。
私たちのアプローチを、モデルに「段階的に考える」ように促す Zero-Shot-CoT 手法と比較することで、ロールプレイのプロンプトがより効果的な CoT を生成できることをさらに実証します。
これは、LLM の推論能力を強化する可能性を強調しています。

要約(オリジナル)

Modern large language models (LLMs), such as ChatGPT, exhibit a remarkable capacity for role-playing, enabling them to embody not only human characters but also non-human entities like a Linux terminal. This versatility allows them to simulate complex human-like interactions and behaviors within various contexts, as well as to emulate specific objects or systems. While these capabilities have enhanced user engagement and introduced novel modes of interaction, the influence of role-playing on LLMs’ reasoning abilities remains underexplored. In this study, we introduce a strategically designed role-play prompting methodology and assess its performance under the zero-shot setting across twelve diverse reasoning benchmarks, encompassing arithmetic, commonsense reasoning, symbolic reasoning, and more. Leveraging models such as ChatGPT and Llama 2, our empirical results illustrate that role-play prompting consistently surpasses the standard zero-shot approach across most datasets. Notably, accuracy on AQuA rises from 53.5% to 63.8%, and on Last Letter from 23.8% to 84.2%. Beyond enhancing contextual understanding, we posit that role-play prompting serves as an implicit Chain-of-Thought (CoT) trigger, thereby improving the quality of reasoning. By comparing our approach with the Zero-Shot-CoT technique, which prompts the model to ‘think step by step’, we further demonstrate that role-play prompting can generate a more effective CoT. This highlights its potential to augment the reasoning capabilities of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google