Large Language Models Fail on Trivial Alterations to Theory-of-Mind Tasks

要約

直観心理学は、常識的な推論の柱です。
機械知能におけるこの推論の複製は、人間のような人工知能への道のりにおける重要な足がかりです。
Large-Large モデルでこの推論を調べるためのいくつかの最近のタスクとベンチマークは、特に心の理論タスクにおける信念の帰属に焦点を当てています。
これらのタスクは、成功と失敗の両方を示しています。
特に、最近成功したとされているケースを検討し、ToM の原則を維持する小さなバリエーションが結果を大きく変えることを示します。
一般に、直感心理学におけるモデル評価のゼロ仮説は懐疑的であり、異常な失敗のケースは平均的な成功率を上回るべきであると主張します。
また、より強力なLLMによる心の理論タスクの将来の成功が、人々とのToMタスクにとって何を意味するかについても検討します。

要約(オリジナル)

Intuitive psychology is a pillar of common-sense reasoning. The replication of this reasoning in machine intelligence is an important stepping-stone on the way to human-like artificial intelligence. Several recent tasks and benchmarks for examining this reasoning in Large-Large Models have focused in particular on belief attribution in Theory-of-Mind tasks. These tasks have shown both successes and failures. We consider in particular a recent purported success case, and show that small variations that maintain the principles of ToM turn the results on their head. We argue that in general, the zero-hypothesis for model evaluation in intuitive psychology should be skeptical, and that outlying failure cases should outweigh average success rates. We also consider what possible future successes on Theory-of-Mind tasks by more powerful LLMs would mean for ToM tasks with people.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google