DREAM: Visual Decoding from Reversing Human Visual System

要約

この研究では、人間の視覚系に関する基本的な知識に基づき、脳活動から見た画像を再構成するためのfMRI-to-image法であるDREAMを紹介する。我々は、人間が視覚世界を知覚する際の階層的かつ並列的な性質を模倣した逆経路を構築する。これらの調整された経路は、視覚刺激からfMRI記録への順方向経路を反映し、fMRIデータから意味、色、奥行きの手がかりを解読するために特化されている。そのために、2つのコンポーネントが人間の視覚系内の逆過程を模倣している：逆視覚連合皮質（R-VAC）は、この脳領域の経路を反転させ、fMRIデータから意味論を抽出し、逆並列PKM（R-PKM）コンポーネントは、fMRI信号から色と深度を同時に予測する。実験の結果、我々の手法は、外観、構造、意味の一貫性という点で、現在の最先端モデルを上回ることが示された。この分野でのさらなる研究を促進するため、コードを公開する予定である。

要約(オリジナル)

In this work we present DREAM, an fMRI-to-image method for reconstructing viewed images from brain activities, grounded on fundamental knowledge of the human visual system. We craft reverse pathways that emulate the hierarchical and parallel nature of how humans perceive the visual world. These tailored pathways are specialized to decipher semantics, color, and depth cues from fMRI data, mirroring the forward pathways from visual stimuli to fMRI recordings. To do so, two components mimic the inverse processes within the human visual system: the Reverse Visual Association Cortex (R-VAC) which reverses pathways of this brain region, extracting semantics from fMRI data; the Reverse Parallel PKM (R-PKM) component simultaneously predicting color and depth from fMRI signals. The experiments indicate that our method outperforms the current state-of-the-art models in terms of the consistency of appearance, structure, and semantics. Code will be made publicly available to facilitate further research in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL