NeuralDiffuser: Neuroscience-inspired Diffusion Guidance for fMRI Visual Reconstruction

要約

機能的磁気共鳴画像法 fMRI から視覚刺激を再構成することで、脳活動をきめ細かく検索することが可能になります。
ただし、構造、背景、テクスチャ、色などを含むさまざまな詳細を正確に再構築することは依然として困難です。
安定した拡散モデルでは、同じ条件下であっても、再構成された画像に必然的にばらつきが生じます。
この課題に対処するために、私たちはまず拡散手法の神経科学的観点を明らかにします。拡散手法には主に、広範な画像データセットからの事前トレーニングされた知識を使用したトップダウンの作成が含まれますが、詳細に基づいたボトムアップの認識が欠けている傾向があり、忠実な画像の喪失につながります。
詳細。
この論文では、主要な視覚特徴ガイダンスを組み込んで、勾配の形で詳細な手がかりを提供する NeuralDiffuser を提案します。
拡散モデルのボトムアップ プロセスのこの拡張により、視覚刺激を再構成する際に意味論的な一貫性と詳細の忠実性の両方が達成されます。
さらに、さまざまな出力ではなく、元の画像との繰り返し出力の一貫性を保証する、再構成タスク用の新しいガイダンス戦略を開発しました。
Natural Senses Dataset (NSD) に関する広範な実験結果は、NeuralDiffuser をベースラインおよび最先端の方法と水平方向に比較し、また縦方向のアブレーション研究を実施することにより、NeuralDiffuser の進歩を定性的および定量的に実証しています。

要約(オリジナル)

Reconstructing visual stimuli from functional Magnetic Resonance Imaging fMRI enables fine-grained retrieval of brain activity. However, the accurate reconstruction of diverse details, including structure, background, texture, color, and more, remains challenging. The stable diffusion models inevitably result in the variability of reconstructed images, even under identical conditions. To address this challenge, we first uncover the neuroscientific perspective of diffusion methods, which primarily involve top-down creation using pre-trained knowledge from extensive image datasets, but tend to lack detail-driven bottom-up perception, leading to a loss of faithful details. In this paper, we propose NeuralDiffuser, which incorporates primary visual feature guidance to provide detailed cues in the form of gradients. This extension of the bottom-up process for diffusion models achieves both semantic coherence and detail fidelity when reconstructing visual stimuli. Furthermore, we have developed a novel guidance strategy for reconstruction tasks that ensures the consistency of repeated outputs with original images rather than with various outputs. Extensive experimental results on the Natural Senses Dataset (NSD) qualitatively and quantitatively demonstrate the advancement of NeuralDiffuser by comparing it against baseline and state-of-the-art methods horizontally, as well as conducting longitudinal ablation studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google