Brain Diffusion for Visual Exploration: Cortical Discovery using Large Scale Generative Models

要約

神経科学における長年の目標は、脳の機能組織を解明することでした。
高次視覚野内では、機能的説明は比較的粗いままであり、関心領域 (ROI) に焦点を当て、顔、場所、体、食べ物、言葉などの幅広いカテゴリに対する選択の形をとっています。
このような ROI の特定は通常、非生態学的状況で孤立したオブジェクトから構成される手動で組み立てられた刺激セットに依存しているため、堅牢なアプリオリ仮説なしで機能的組織を探索することは困難でした。
これらの制限を克服するために、カテゴリー固有の刺激の必要性を回避し、ペアの自然画像と fMRI 記録を使用して、特定の脳領域を活性化すると予測される画像を合成するデータ駆動型アプローチを導入します。
私たちのアプローチ — Brain Diffusion for Visual Exploration (‘BrainDiVE’) — は、大規模な拡散モデルと脳誘導画像合成を組み合わせた最近の生成手法に基づいています。
私たちの方法を検証することで、よく特徴付けられたカテゴリ選択的 ROI に対して適切な意味論的特異性を備えた優先画像を合成できることを実証します。
次に、BrainDiVE が同じ高レベル カテゴリに対して選択的な ROI 間の違いを特徴付けることができることを示します。
最後に、これらの ROI 内の新しい機能の細分を特定し、行動データで検証します。
これらの結果は、人間の視覚皮質のきめ細かい機能組織についての理解を促進し、仮説に基づいた方法を使用して皮質組織をさらに調べるための明確な制約を提供します。

要約(オリジナル)

A long standing goal in neuroscience has been to elucidate the functional organization of the brain. Within higher visual cortex, functional accounts have remained relatively coarse, focusing on regions of interest (ROIs) and taking the form of selectivity for broad categories such as faces, places, bodies, food, or words. Because the identification of such ROIs has typically relied on manually assembled stimulus sets consisting of isolated objects in non-ecological contexts, exploring functional organization without robust a priori hypotheses has been challenging. To overcome these limitations, we introduce a data-driven approach in which we synthesize images predicted to activate a given brain region using paired natural images and fMRI recordings, bypassing the need for category-specific stimuli. Our approach — Brain Diffusion for Visual Exploration (‘BrainDiVE’) — builds on recent generative methods by combining large-scale diffusion models with brain-guided image synthesis. Validating our method, we demonstrate the ability to synthesize preferred images with appropriate semantic specificity for well-characterized category-selective ROIs. We then show that BrainDiVE can characterize differences between ROIs selective for the same high-level category. Finally we identify novel functional subdivisions within these ROIs, validated with behavioral data. These results advance our understanding of the fine-grained functional organization of human visual cortex, and provide well-specified constraints for further examination of cortical organization using hypothesis-driven methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google