Boosting Theory-of-Mind Performance in Large Language Models via Prompting

要約

タイトル：プロンプティングによる大規模言語モデルにおけるTheory-of-Mind認知能力の向上

要約：

– 大規模言語モデルは、多くのタスクにおいて優れたパフォーマンスを発揮しているが、複雑な推論にはまだ課題が残されている。
– 人間の共通感覚的な推論に不可欠な、エージェントの信念、目標、および心的状態を理解するTheory-of-mind（ToM）タスクを用いて、大規模言語モデルの性能を向上させることが重要である。
– 本研究では、GPT-4と3つのGPT-3.5バリアント（Davinci-2、Davinci-3、GPT-3.5-Turbo）のToM性能を測定し、コンテキスト内での学習の有効性を調査した。
– 2ショットの思考プロセスの自動生成や、ステップバイステップの思考手順の指示が提示されたプロンプトを評価した結果、Human Feedbackからの強化学習によりトレーニングされたLLMs（Davinci-2を除くすべてのモデル）は、コンテキスト内での学習によりToM精度を向上させることができた。
– 0-shotの設定ではGPT-4が最も優れたパフォーマンスを発揮し、約80％のToM精度を達成したが、テストセットにおける人間の87％の精度には到達できなかった。
– しかし、適切なプロンプトが与えられると、すべてのRLHFトレーニングされたLLMs（GPT-4も含む）は80％以上のToM精度を超え、GPT-4は100％の精度を達成した。
– これらの結果は、適切なプロンプトがLLMのToM推論能力を向上させることを示し、LLMの認知能力がコンテキスト依存であることを強調する。

要約(オリジナル)

Large language models (LLMs) excel in many tasks in 2023, but they still face challenges in complex reasoning. Theory-of-mind (ToM) tasks, which require understanding agents’ beliefs, goals, and mental states, are essential for common-sense reasoning involving humans, making it crucial to enhance LLM performance in this area. This study measures the ToM performance of GPT-4 and three GPT-3.5 variants (Davinci-2, Davinci-3, GPT-3.5-Turbo), and investigates the effectiveness of in-context learning in improving their ToM comprehension. We evaluated prompts featuring two-shot chain of thought reasoning and step-by-step thinking instructions. We found that LLMs trained with Reinforcement Learning from Human Feedback (RLHF) (all models excluding Davinci-2) improved their ToM accuracy via in-context learning. GPT-4 performed best in zero-shot settings, reaching nearly 80% ToM accuracy, but still fell short of the 87% human accuracy on the test set. However, when supplied with prompts for in-context learning, all RLHF-trained LLMs exceeded 80% ToM accuracy, with GPT-4 reaching 100%. These results demonstrate that appropriate prompting enhances LLM ToM reasoning, and they underscore the context-dependent nature of LLM cognitive capacities.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI