Psychophysical-Score: A Behavioral Measure for Assessing the Biological Plausibility of Visual Recognition Models

要約

過去10年間、畳み込みニューラルネットワーク（CNN）は、物体認識を含む人工知能のほぼすべての視覚タスクにおいて、先行するCNNを大きく凌駕してきた。しかし、多くの進歩にもかかわらず、CNNは生物学的な視覚と比較すると、依然として見劣りする。この隔たりから、主に神経レベルで人間の視覚システムを模倣しようとする生物学にヒントを得たモデルが開発されており、標準的なデータセットのベンチマークを用いて評価されている。しかし、これらのモデルがどのように視覚世界を認識しているかを理解するためには、さらなる研究が必要である。この論文では、視覚心理物理学に基づいた新しい指標であるPsychophysical-Scoreを生成する最先端の手順を提案し、複雑さと生物学的インスピレーションの大きな範囲を表す多数のモデルの知覚反応を確実に推定することが可能である。我々は、生物学的インスピレーションの程度と複雑さが異なる12のモデルに対してこの手順を実行し、その結果を、合わせて約270万件の知覚応答を提供した2,390人のAmazon Mechanical Turkワーカーの集計結果と比較しました。各モデルのPsychophysical-Scoreは、最先端の神経活動ベースのメトリックであるBrain-Scoreと比較されています。人間の知覚行動と高い相関を持つモデルは、対応する神経活動とも高い相関を持つことが本研究で示された。

要約(オリジナル)

For the last decade, convolutional neural networks (CNNs) have vastly superseded their predecessors in nearly all vision tasks in artificial intelligence, including object recognition. However, despite abundant advancements, they continue to pale in comparison to biological vision. This chasm has prompted the development of biologically-inspired models that have attempted to mimic the human visual system, primarily at a neural level, which is evaluated using standard dataset benchmarks. However, more work is needed to understand how these models perceive the visual world. This article proposes a state-of-the-art procedure that generates a new metric, Psychophysical-Score, which is grounded in visual psychophysics and is capable of reliably estimating perceptual responses across numerous models — representing a large range in complexity and biological inspiration. We perform the procedure on twelve models that vary in degree of biological inspiration and complexity, we compare the results against the aggregated results of 2,390 Amazon Mechanical Turk workers who together provided ~2.7 million perceptual responses. Each model’s Psychophysical-Score is compared against the state-of-the-art neural activity-based metric, Brain-Score. Our study indicates that models with a high correlation to human perceptual behavior also have a high correlation with the corresponding neural activity.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL