MinD-3D: Reconstruct High-quality 3D objects in Human Brain

要約

この論文では、機能的磁気共鳴画像法 (fMRI) 信号から 3D ビジュアルを再構築することに焦点を当てた画期的なタスクである Recon3DMind について紹介します。
これは、認知神経科学とコンピューター ビジョンにおける大きな前進を意味します。
このタスクをサポートするために、包括的な fMRI 信号のキャプチャに 3D オブジェクトの 360 度ビュー ビデオを利用する fMRI-Shape データセットを紹介します。
このデータセットには、日常生活の一般的なオブジェクトの 55 のカテゴリが含まれており、将来の研究努力を強化します。
また、fMRI 信号から脳の 3D 視覚情報をデコードして再構成する、新しく効果的な 3 段階のフレームワークである MinD-3D も提案します。
この方法は、ニューロフュージョンエンコーダーを使用して fMRI フレームから特徴を抽出して集約することから始まり、次に特徴ブリッジ拡散モデルを採用して対応する視覚特徴を生成し、最終的に生成トランスフォーマーデコーダーを通じて 3D オブジェクトを復元します。
私たちの実験は、この方法が有効であり、fMRI 信号内の視覚的関心領域 (ROI) と高度に相関する特徴を効果的に抽出することを示しています。
特に、高い意味的関連性と空間的類似性を備えた 3D オブジェクトを再構成するだけでなく、人間の脳の 3D 視覚処理能力についての理解も大幅に深まります。
プロジェクトページ: https://jianxgao.github.io/MinD-3D。

要約(オリジナル)

In this paper, we introduce Recon3DMind, a groundbreaking task focused on reconstructing 3D visuals from Functional Magnetic Resonance Imaging (fMRI) signals. This represents a major step forward in cognitive neuroscience and computer vision. To support this task, we present the fMRI-Shape dataset, utilizing 360-degree view videos of 3D objects for comprehensive fMRI signal capture. Containing 55 categories of common objects from daily life, this dataset will bolster future research endeavors. We also propose MinD-3D, a novel and effective three-stage framework that decodes and reconstructs the brain’s 3D visual information from fMRI signals. This method starts by extracting and aggregating features from fMRI frames using a neuro-fusion encoder, then employs a feature bridge diffusion model to generate corresponding visual features, and ultimately recovers the 3D object through a generative transformer decoder. Our experiments demonstrate that this method effectively extracts features that are valid and highly correlated with visual regions of interest (ROIs) in fMRI signals. Notably, it not only reconstructs 3D objects with high semantic relevance and spatial similarity but also significantly deepens our understanding of the human brain’s 3D visual processing capabilities. Project page at: https://jianxgao.github.io/MinD-3D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google