Theory of Mind Might Have Spontaneously Emerged in Large Language Models

要約

私たちは、心の理論（ToM）、つまり観察できない精神状態を他者に帰属させる人間特有の能力が、大規模言語モデル（LLM）の中で自然発生的に出現した可能性があるという興味深い可能性を探ります。
私たちは、人間で ToM をテストする際のゴールドスタンダードと考えられる 40 の誤った信念のタスクを設計し、それらを複数の LLM に実施しました。
各タスクには、誤った信念のシナリオ、厳密に一致する 3 つの真実の信念の対照、および 4 つすべての逆バージョンが含まれていました。
小型で古いモデルでは何の課題も解決されませんでした。
GPT-3-davinci-001 (2020 年 5 月以降) および GPT-3-davinci-002 (2022 年 1 月以降) は 10% 解決しました。
GPT-3-davinci-003 (2022 年 11 月以降) と ChatGPT-3.5-turbo (2023 年 3 月以降) はタスクの 35% を解決し、3 歳児のパフォーマンスを反映しました。
ChatGPT-4 (2023 年 6 月以降) はタスクの 90% を解決し、7 歳児のパフォーマンスと同等でした。
これらの発見は、これまで人間専用と考えられていたToMが、LLMの言語スキル向上の副産物として自然発生的に出現した可能性があるという興味深い可能性を示唆している。

要約(オリジナル)

We explore the intriguing possibility that theory of mind (ToM), or the uniquely human ability to impute unobservable mental states to others, might have spontaneously emerged in large language models (LLMs). We designed 40 false-belief tasks, considered a gold standard in testing ToM in humans, and administered them to several LLMs. Each task included a false-belief scenario, three closely matched true-belief controls, and the reversed versions of all four. Smaller and older models solved no tasks; GPT-3-davinci-001 (from May 2020) and GPT-3-davinci-002 (from January 2022) solved 10%; and GPT-3-davinci-003 (from November 2022) and ChatGPT-3.5-turbo (from March 2023) solved 35% of the tasks, mirroring the performance of three-year-old children. ChatGPT-4 (from June 2023) solved 90% of the tasks, matching the performance of seven-year-old children. These findings suggest the intriguing possibility that ToM, previously considered exclusive to humans, may have spontaneously emerged as a byproduct of LLMs’ improving language skills.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google