Mind-to-Image: Projecting Visual Mental Imagination of the Brain from fMRI

要約

視覚刺激中に収集された fMRI データから被験者が観察した画像の再構成は、広範な fMRI データセットの利用可能性と画像生成のための生成モデルの進歩のおかげで、過去 10 年間に大きく進歩しました。
しかし、視覚的再構成の応用は依然として限られています。
視覚的想像力を再構築することは、障害のある個人の支援から法廷での証人の証言の検証に至るまで、潜在的に革命的な応用例を伴う、より大きな課題を提示しています。
この分野における主な障害は、視覚画像のデータ収集プロトコルが存在しないことと、この主題に関するデータセットが存在しないことです。
従来、fMRI から画像への変換は視覚刺激に曝露された被験者から収集されたデータに依存しており、視覚刺激と視覚画像の間の脳活動の違いに基づいて視覚画像を生成する際に問題が生じます。
初めて、提案されたデータ収集プロトコルとともに、視覚画像に関する実質的なデータセット (約 6 時間のスキャン) を編集しました。
次に、fMRI から画像へのモデルの修正バージョンをトレーニングし、記憶と純粋な想像という 2 つの想像モードから画像を再構成する実現可能性を実証します。
私たちが Mind-to-Image と呼ぶパイプラインは、視覚的なイメージを直接再構築できるテクノロジーの作成に向けた一歩を踏み出したものです。

要約(オリジナル)

The reconstruction of images observed by subjects from fMRI data collected during visual stimuli has made strong progress in the past decade, thanks to the availability of extensive fMRI datasets and advancements in generative models for image generation. However, the application of visual reconstruction has remained limited. Reconstructing visual imagination presents a greater challenge, with potentially revolutionary applications ranging from aiding individuals with disabilities to verifying witness accounts in court. The primary hurdles in this field are the absence of data collection protocols for visual imagery and the lack of datasets on the subject. Traditionally, fMRI-to-image relies on data collected from subjects exposed to visual stimuli, which poses issues for generating visual imagery based on the difference of brain activity between visual stimulation and visual imagery. For the first time, we have compiled a substantial dataset (around 6h of scans) on visual imagery along with a proposed data collection protocol. We then train a modified version of an fMRI-to-image model and demonstrate the feasibility of reconstructing images from two modes of imagination: from memory and from pure imagination. The resulting pipeline we call Mind-to-Image marks a step towards creating a technology that allow direct reconstruction of visual imagery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google