Does ChatGPT have Theory of Mind?

要約

Theory of Mind (ToM) は人間の思考と意思決定を理解する能力であり、言語コミュニケーションを含む人々間の社会的相互作用において重要な役割を果たします。
この論文では、ChatGPT の伝統における最近の大規模言語モデルがどの程度 ToM を備えているかを調査します。
人間の推論と意思決定におけるバイアスに対処する 6 つのよく知られた問題を 2 つのバージョンの ChatGPT に提示し、さまざまなプロンプト戦略の下で結果を比較しました。
ChatGPT-3 に関する結果はやや決定的ではありませんでしたが、ChatGPT-4 では、誤った仮定や無効な推論に基づいて正解が得られることが多いにもかかわらず、偶然に基づいて予想されるよりも頻繁に正解に達することが示されました。

要約(オリジナル)

Theory of Mind (ToM) is the ability to understand human thinking and decision-making, an ability that plays a crucial role in social interaction between people, including linguistic communication. This paper investigates to what extent recent Large Language Models in the ChatGPT tradition possess ToM. We posed six well-known problems that address biases in human reasoning and decision making to two versions of ChatGPT and we compared the results under a range of prompting strategies. While the results concerning ChatGPT-3 were somewhat inconclusive, ChatGPT-4 was shown to arrive at the correct answers more often than would be expected based on chance, although correct answers were often arrived at on the basis of false assumptions or invalid reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google