Boosting Theory-of-Mind Performance in Large Language Models via Prompting

要約

タイトル：促進型による大規模言語モデルにおける理論心理学的パフォーマンスの向上

要約：
– 大規模言語モデル（LLMs）は多くのタスクで優れていますが、複雑な推論にはまだ課題があります。
– 理論心理学（ToM）のタスクは、人間に関する常識的な推論に不可欠であり、エージェントの信念、目標、および心理状態を理解する必要があります。そのため、LLMのToM性能の向上は重要です。
– この研究では、GPT-4と3つのGPT-3.5の異なるバリアント（Davinci-2、Davinci-3、GPT-3.5-Turbo）のToM性能を評価し、コンテキスト内学習の効果を調査しました。
– 2つのショットの思考推論とステップバイステップの思考指示を特徴とするプロンプトを評価しました。
– RLHF（人間フィードバックによる強化学習）で訓練されたLLMs（Davinci-2を除くすべてのモデル）は、コンテキスト内学習によってToM精度が向上しました。
– GPT-4はゼロショットの設定で最も良い性能を発揮し、ほぼ80％のToM精度を達成しましたが、テストセットでの人間の87％の精度には及びませんでした。
– ただし、コンテキスト内学習のプロンプトが提供された場合、すべてのRLHF訓練済みLLMsは80％を超えるToM精度を達成し、GPT-4は100％に達しました。
– 適切なプロンプトは、LLMのToM推論を高めることができ、LLMの認知能力がコンテキスト依存であることが示されました。

要約(オリジナル)

Large language models (LLMs) excel in many tasks in 2023, but they still face challenges in complex reasoning. Theory-of-mind (ToM) tasks, which require understanding agents’ beliefs, goals, and mental states, are essential for common-sense reasoning involving humans, making it crucial to enhance LLM performance in this area. This study measures the ToM performance of GPT-4 and three GPT-3.5 variants (Davinci-2, Davinci-3, GPT-3.5-Turbo), and investigates the effectiveness of in-context learning in improving their ToM comprehension. We evaluated prompts featuring two-shot chain of thought reasoning and step-by-step thinking instructions. We found that LLMs trained with Reinforcement Learning from Human Feedback (RLHF) (all models excluding Davinci-2) improved their ToM accuracy via in-context learning. GPT-4 performed best in zero-shot settings, reaching nearly 80% ToM accuracy, but still fell short of the 87% human accuracy on the test set. However, when supplied with prompts for in-context learning, all RLHF-trained LLMs exceeded 80% ToM accuracy, with GPT-4 reaching 100%. These results demonstrate that appropriate prompting enhances LLM ToM reasoning, and they underscore the context-dependent nature of LLM cognitive capacities.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI