Dynadiff: Single-stage Decoding of Images from Continuously Evolving fMRI

要約

脳から画像のデコードは、生成AIモデルの進行と、大きな超高磁場機能磁気共鳴画像法（fMRI）の利用可能性によって最近推進されています。
ただし、現在のアプローチは、脳記録の時間的次元を通常崩壊させる複雑な多段階パイプラインと前処理ステップに依存し、それにより時間分解された脳デコーダーが制限されます。
ここでは、動的に進化するfMRI記録から画像を再構築するために設計された新しい単一段階拡散モデルであるDynadiff（画像再構成の動的な神経活動拡散）を紹介します。
私たちのアプローチは、3つの主な貢献を提供します。
まず、Dynadiffは既存のアプローチと比較してトレーニングを簡素化します。
第二に、私たちのモデルは、時間分解されたfMRIシグナル、特に高レベルのセマンティック画像再構成メトリックに関する最先端のモデルよりも優れていますが、時間を崩壊する前処理されたfMRIデータで競争力を維持します。
第三に、このアプローチにより、脳の活動における画像表現の進化の正確な特性評価が可能になります。
全体として、この作業は、時間分解された脳から画像の解読の基礎を築きます。

要約(オリジナル)

Brain-to-image decoding has been recently propelled by the progress in generative AI models and the availability of large ultra-high field functional Magnetic Resonance Imaging (fMRI). However, current approaches depend on complicated multi-stage pipelines and preprocessing steps that typically collapse the temporal dimension of brain recordings, thereby limiting time-resolved brain decoders. Here, we introduce Dynadiff (Dynamic Neural Activity Diffusion for Image Reconstruction), a new single-stage diffusion model designed for reconstructing images from dynamically evolving fMRI recordings. Our approach offers three main contributions. First, Dynadiff simplifies training as compared to existing approaches. Second, our model outperforms state-of-the-art models on time-resolved fMRI signals, especially on high-level semantic image reconstruction metrics, while remaining competitive on preprocessed fMRI data that collapse time. Third, this approach allows a precise characterization of the evolution of image representations in brain activity. Overall, this work lays the foundation for time-resolved brain-to-image decoding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google