Brain Mapping with Dense Features: Grounding Cortical Semantic Selectivity in Natural Images With Vision Transformers

要約

大規模な人工ニューラル ネットワークの進歩により、脳の機能トポロジーに対する新たな洞察が容易になりました。
ここでは、このアプローチを利用して、人間の視覚野で意味カテゴリがどのように組織されるかを研究します。
自然画像における複数のカテゴリの同時出現によってもたらされる課題を克服するために、画像内で特定の神経活性化視覚概念を分離する方法である BrainSAIL (Semantic Attribution and Image Localization) を導入します。
BrainSAIL は、神経活動を確実に予測する実証済みの能力に基づいて、事前トレーニングされた視覚モデルから意味的に一貫した高密度の空間特徴を活用します。
この方法は、追加のトレーニングを必要とせずにクリーンで空間的に高密度な埋め込みを導き出し、ランダムな拡張下で画像の意味論的な一貫性を活用する新しいノイズ除去プロセスを採用します。
画像全体の埋め込みと密な視覚的特徴の空間を統合し、これらの特徴にボクセルごとのエンコーディング モデルを適用することで、高次視覚野のさまざまな領域で選択性パターンを駆動する各画像の特定のサブ領域を識別できるようになります。
我々は、既知のカテゴリ選択性を持つ皮質領域で BrainSAIL を検証し、多様な視覚概念に対する選択性を正確に位置特定し、解きほぐす能力を実証します。
次に、シーンのプロパティに対する高レベルの視覚的選択性と、深さ、輝度、彩度などの低レベルの視覚的特徴を特徴付ける BrainSAIL の機能を実証し、複雑な視覚情報のエンコードについての洞察を提供します。
最後に、BrainSAIL を使用して、視覚野のさまざまな関心領域にわたるさまざまな脳符号化モデルの特徴選択性を直接比較します。
私たちの革新的な手法は、人間の脳における高レベルの視覚表現のマッピングと分解における大幅な進歩への道を切り開きます。

要約(オリジナル)

Advances in large-scale artificial neural networks have facilitated novel insights into the functional topology of the brain. Here, we leverage this approach to study how semantic categories are organized in the human visual cortex. To overcome the challenge presented by the co-occurrence of multiple categories in natural images, we introduce BrainSAIL (Semantic Attribution and Image Localization), a method for isolating specific neurally-activating visual concepts in images. BrainSAIL exploits semantically consistent, dense spatial features from pre-trained vision models, building upon their demonstrated ability to robustly predict neural activity. This method derives clean, spatially dense embeddings without requiring any additional training, and employs a novel denoising process that leverages the semantic consistency of images under random augmentations. By unifying the space of whole-image embeddings and dense visual features and then applying voxel-wise encoding models to these features, we enable the identification of specific subregions of each image which drive selectivity patterns in different areas of the higher visual cortex. We validate BrainSAIL on cortical regions with known category selectivity, demonstrating its ability to accurately localize and disentangle selectivity to diverse visual concepts. Next, we demonstrate BrainSAIL’s ability to characterize high-level visual selectivity to scene properties and low-level visual features such as depth, luminance, and saturation, providing insights into the encoding of complex visual information. Finally, we use BrainSAIL to directly compare the feature selectivity of different brain encoding models across different regions of interest in visual cortex. Our innovative method paves the way for significant advances in mapping and decomposing high-level visual representations in the human brain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google