Theory of Mind May Have Spontaneously Emerged in Large Language Models

要約

心の理論 (ToM)、または観察不可能な精神状態を他人に帰する能力は、人間の社会的相互作用、コミュニケーション、共感、自意識、および道徳の中心です。
人間のToMをテストするために広く使用されている40の古典的な偽信念タスクを使用して、いくつかの言語モデルをテストしました。
2020 年より前に公開されたモデルでは、ToM タスクを解決する能力は事実上ありませんでした。
しかし、2020 年 5 月に公開された GPT-3 (「davinci-001」) の最初のバージョンでは、3.5 歳の子供と同等のパフォーマンスで、約 40% の偽りの信念タスクを解決しました。
その 2 番目のバージョン (「davinci-002」; 2022 年 1 月) は、6 歳の子供と同等のパフォーマンスで、6 歳児に匹敵する誤信課題の 70% を解決しました。
その最新バージョンである GPT-3.5 (「davinci-003」; 2022 年 11 月) は、7 歳のレベルで、90% の誤った信念のタスクを解決しました。
2023 年 3 月に公開された GPT-4 では、ほぼすべてのタスク (95%) が解決されました。
これらの発見は、ToM のような能力 (これまでのところ人間に固有のものと考えられていた) が、言語モデルの言語スキルの向上の副産物として自然発生的に出現した可能性があることを示唆しています。

要約(オリジナル)

Theory of mind (ToM), or the ability to impute unobservable mental states to others, is central to human social interactions, communication, empathy, self-consciousness, and morality. We tested several language models using 40 classic false-belief tasks widely used to test ToM in humans. The models published before 2020 showed virtually no ability to solve ToM tasks. Yet, the first version of GPT-3 (‘davinci-001’), published in May 2020, solved about 40% of false-belief tasks-performance comparable with 3.5-year-old children. Its second version (‘davinci-002’; January 2022) solved 70% of false-belief tasks, performance comparable with six-year-olds. Its most recent version, GPT-3.5 (‘davinci-003′; November 2022), solved 90% of false-belief tasks, at the level of seven-year-olds. GPT-4 published in March 2023 solved nearly all the tasks (95%). These findings suggest that ToM-like ability (thus far considered to be uniquely human) may have spontaneously emerged as a byproduct of language models’ improving language skills.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google