Brain Diffusion for Visual Exploration: Cortical Discovery using Large Scale Generative Models

要約

神経科学における長年の目標は、脳の機能的構成を解明することである。高次視覚野では、機能的な説明は比較的粗く、関心領域（ROI）に焦点を当て、顔、場所、体、食べ物、言葉などの広いカテゴリーに対する選択性という形で残されてきた。このようなROIの同定は、通常、非生態的な文脈で孤立した物体からなる刺激セットを手動で組み立てることに依存しているため、強固な先験的仮説なしに機能組織を探索することは困難であった。このような制約を克服するために、我々はデータ駆動型のアプローチを導入し、自然画像とfMRI記録のペアから、特定の脳領域を活性化すると予測される画像を合成し、カテゴリ固有の刺激の必要性を回避する。この手法は、大規模拡散モデルと脳誘導型画像合成を組み合わせることで、最近の生成的手法に基づくものである（Brain Diffusion for Visual Exploration (‘BrainDiVE’) ）。本手法の検証として、カテゴリー選択的なROIに対して、適切な意味的特異性を持つ好ましい画像を合成できることを実証した。次に、BrainDiVEが同じ高レベルのカテゴリーを選択するROI間の差異を特徴付けることができることを示す。最後に、これらのROIに含まれる新たな機能的細分化を、行動データを用いて検証した結果、明らかにしました。これらの結果は、人間の視覚野のきめ細かな機能的組織についての理解を深めるとともに、仮説駆動型手法による皮質組織のさらなる検討のための制約条件を提供するものである。

要約(オリジナル)

A long standing goal in neuroscience has been to elucidate the functional organization of the brain. Within higher visual cortex, functional accounts have remained relatively coarse, focusing on regions of interest (ROIs) and taking the form of selectivity for broad categories such as faces, places, bodies, food, or words. Because the identification of such ROIs has typically relied on manually assembled stimulus sets consisting of isolated objects in non-ecological contexts, exploring functional organization without robust a priori hypotheses has been challenging. To overcome these limitations, we introduce a data-driven approach in which we synthesize images predicted to activate a given brain region using paired natural images and fMRI recordings, bypassing the need for category-specific stimuli. Our approach — Brain Diffusion for Visual Exploration (‘BrainDiVE’) — builds on recent generative methods by combining large-scale diffusion models with brain-guided image synthesis. Validating our method, we demonstrate the ability to synthesize preferred images with appropriate semantic specificity for well-characterized category-selective ROIs. We then show that BrainDiVE can characterize differences between ROIs selective for the same high-level category. Finally we identify novel functional subdivisions within these ROIs, validated with behavioral data. These results advance our understanding of the fine-grained functional organization of human visual cortex, and provide well-specified constraints for further examination of cortical organization using hypothesis-driven methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL