Dimensions underlying the representational alignment of deep neural networks with humans

要約

人間と人工知能（AI）の類似性と相違点を判断することは、計算認知神経科学と機械学習の両方における重要な目標であり、人間の認知とより安全で信頼性の高いAIシステムのより深い理解を約束します。
人間とAIの表現を比較した多くの以前の研究は、それらのアライメントを定量化するために、グローバルなスカラー測定に依存しています。
ただし、明示的な仮説がなければ、これらの措置は、それを決定する要因ではなく、アライメントの程度についてのみ通知します。
この課題に対処するために、両方のドメインの同じ動作の根底にある潜在的な表現次元を特定することに基づいて、人間とAIの表現を比較する一般的なフレームワークを提案します。
このフレームワークを人間と自然画像の深いニューラルネットワーク（DNN）モデルに適用すると、視覚的およびセマンティックな寸法の両方の低次元DNN埋め込みが明らかになりました。
人間とは対照的に、DNNSはセマンティックプロパティよりも視覚の明確な支配を示し、画像を表現するための異なる戦略を示しています。
シリコ内実験では、DNN寸法の一貫した一貫した解釈可能性が示されましたが、ヒト表現とDNN表現を直接比較すると、画像の処理方法に大きな違いが明らかになりました。
表現を直接比較可能にすることにより、我々の結果は表現のアラインメントに対する重要な課題を明らかにし、比較可能性を改善する手段を提供します。

要約(オリジナル)

Determining the similarities and differences between humans and artificial intelligence (AI) is an important goal both in computational cognitive neuroscience and machine learning, promising a deeper understanding of human cognition and safer, more reliable AI systems. Much previous work comparing representations in humans and AI has relied on global, scalar measures to quantify their alignment. However, without explicit hypotheses, these measures only inform us about the degree of alignment, not the factors that determine it. To address this challenge, we propose a generic framework to compare human and AI representations, based on identifying latent representational dimensions underlying the same behavior in both domains. Applying this framework to humans and a deep neural network (DNN) model of natural images revealed a low-dimensional DNN embedding of both visual and semantic dimensions. In contrast to humans, DNNs exhibited a clear dominance of visual over semantic properties, indicating divergent strategies for representing images. While in-silico experiments showed seemingly consistent interpretability of DNN dimensions, a direct comparison between human and DNN representations revealed substantial differences in how they process images. By making representations directly comparable, our results reveal important challenges for representational alignment and offer a means for improving their comparability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google