Visual Enumeration is Challenging for Large-scale Generative AI

要約

このような技能は、多くの動物種や、言語発達や正式な学校教育を受ける前の乳幼児において記録されている。数値判断は、小さな集合では間違いがないが、より大きな集合では応答が近似的になり、ばらつきは対象数に比例して大きくなる。このような反応パターンは、物体の特徴（色や形など）にばらつきがあるにもかかわらず、あらゆる種類のものに対して観察されることから、私たちの視覚的数感覚は、数の抽象的表現に依存していることが示唆される。ここでは、大規模な人工知能（AI）システムが人間のような数感覚を持っているかどうかを調べる。意外なことに、検討された基礎モデルのほとんどは、数感覚に乏しい：小さな数でも顕著な誤りを犯し、応答のばらつきは系統的に増加せず、誤りのパターンは対象物のカテゴリーに依存する。視覚的な数感覚を示すのは、最新の独自システムだけである。我々の発見は、数の直感的な視覚的理解を持つことが、基礎モデルにとって依然として困難であることを示している。

要約(オリジナル)

Humans can readily judge the number of objects in a visual scene, even without counting, and such a skill has been documented in many animal species and babies prior to language development and formal schooling. Numerical judgments are error-free for small sets, while for larger collections responses become approximate, with variability increasing proportionally to the target number. This response pattern is observed for items of all kinds, despite variation in object features (such as color or shape), suggesting that our visual number sense relies on abstract representations of numerosity. Here, we investigate whether large-scale generative Artificial Intelligence (AI) systems have a human-like number sense, which should allow them to reliably name the number of objects in simple visual stimuli or generate images containing a target number of items in the 1-10 range. Surprisingly, most of the foundation models considered have a poor number sense: They make striking errors even with small numbers, the response variability does not increase in a systematic way, and the pattern of errors depends on object category. Only the most recent proprietary systems exhibit signatures of a visual number sense. Our findings demonstrate that having an intuitive visual understanding of number remains challenging for foundation models, which in turn might be detrimental to the perceptual grounding of numeracy that in humans is crucial for mathematical learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL