DREAM: Visual Decoding from Reversing Human Visual System

要約

この研究では、人間の視覚系の基本的な知識に基づいて、脳活動から表示された画像を再構成するための fMRI から画像への方法である DREAM を紹介します。
私たちは、人間が視覚世界を認識する方法の階層的かつ並列的な性質をエミュレートする逆経路を作成します。
これらの調整された経路は、fMRI データからセマンティクス、色、深さの手がかりを解読することに特化されており、視覚刺激から fMRI 記録への前方経路を反映しています。
これを行うために、2 つのコンポーネントが人間の視覚系内の逆プロセスを模倣します。1 つはこの脳領域の経路を逆転させ、fMRI データからセマンティクスを抽出する逆視覚連合皮質 (R-VAC) です。
逆並列 PKM (R-PKM) コンポーネントは、fMRI 信号から色と深度を同時に予測します。
実験は、外観、構造、セマンティクスの一貫性の点で、私たちの方法が現在の最先端のモデルよりも優れていることを示しています。
この分野でのさらなる研究を促進するために、コードは公開される予定です。

要約(オリジナル)

In this work we present DREAM, an fMRI-to-image method for reconstructing viewed images from brain activities, grounded on fundamental knowledge of the human visual system. We craft reverse pathways that emulate the hierarchical and parallel nature of how humans perceive the visual world. These tailored pathways are specialized to decipher semantics, color, and depth cues from fMRI data, mirroring the forward pathways from visual stimuli to fMRI recordings. To do so, two components mimic the inverse processes within the human visual system: the Reverse Visual Association Cortex (R-VAC) which reverses pathways of this brain region, extracting semantics from fMRI data; the Reverse Parallel PKM (R-PKM) component simultaneously predicting color and depth from fMRI signals. The experiments indicate that our method outperforms the current state-of-the-art models in terms of the consistency of appearance, structure, and semantics. Code will be made publicly available to facilitate further research in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google