NeuralDiffuser: Controllable fMRI Reconstruction with Primary Visual Feature Guided Diffusion

要約

潜在拡散モデル (LDM) に基づいて機能的磁気共鳴画像法 (fMRI) から視覚刺激を再構成することで、脳のきめ細かい検索が可能になります。
詳細 (構造、背景、テクスチャ、色など) の一貫した配置を再構築するという課題が依然として残っています。
さらに、LDM は同じ条件下でも異なる画像結果を生成します。
これらについて、まず、LDM ベースの手法の神経科学的観点を明らかにします。これは、大量の画像から事前にトレーニングされた知識に基づいてトップダウンで作成されますが、細部に基づいたボトムアップの認識が欠如しているため、細部が不忠実になるという結果になります。
私たちは、主要な視覚的特徴ガイダンスを導入してグラデーションの形で詳細な手がかりを提供し、LDM ベースのメソッドのボトムアップ プロセスを拡張して忠実なセマンティクスと詳細を実現する NeuralDiffuser を提案します。
また、さまざまな結果ではなく、繰り返される再構成の一貫性を確保するための新しいガイダンス戦略も開発しました。
Natural Senses Dataset (NSD) 上で NeuralDiffuser の最先端のパフォーマンスを取得し、より忠実な詳細と一貫した結果を提供します。

要約(オリジナル)

Reconstructing visual stimuli from functional Magnetic Resonance Imaging (fMRI) based on Latent Diffusion Models (LDM) provides a fine-grained retrieval of the brain. A challenge persists in reconstructing a cohesive alignment of details (such as structure, background, texture, color, etc.). Moreover, LDMs would generate different image results even under the same conditions. For these, we first uncover the neuroscientific perspective of LDM-based methods that is top-down creation based on pre-trained knowledge from massive images but lack of detail-driven bottom-up perception resulting in unfaithful details. We propose NeuralDiffuser which introduces primary visual feature guidance to provide detail cues in the form of gradients, extending the bottom-up process for LDM-based methods to achieve faithful semantics and details. We also developed a novel guidance strategy to ensure the consistency of repeated reconstructions rather than a variety of results. We obtain the state-of-the-art performance of NeuralDiffuser on the Natural Senses Dataset (NSD), which offers more faithful details and consistent results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google