Reconstructing seen images from human brain activity via guided stochastic search

要約

タイトル：ガイド付きの確率的検索による人間の脳活動から見られる画像の再構築

要約：
– 視覚再構築アルゴリズムは、脳活動をピクセルにマップする解釈ツールである。
– 過去の再構築アルゴリズムは、大規模なライブラリを総当たりで検索して、脳活動を正確に予測する候補画像を選択していた。
– ここでは、条件付き生成拡散モデルを使用して、この検索ベースの戦略を拡張し、改善する。
– 私たちは、視覚皮質のほとんどの体積でボクセルに人間の脳活動（7T fMRI）から意味的記述子を復号化し、さらにその記述子に依存する少量の画像ライブラリをサンプリングし、それぞれのサンプルをエンコードモデルを通じて送り、最も脳活動を正確に予測する画像を選択し、その画像を別のライブラリのシードとして使用する。
– このプロセスは、低レベルの画像の詳細を磨きながら、反復ごとに意味的な内容を保持することで、高品質の再構築に収束することを示す。
– 興味深いことに、収束までの時間は、視覚皮質ごとに系統的に異なるため、視覚脳領域の表現の多様性を測定する新しい簡潔な方法を示唆している。

要約(オリジナル)

Visual reconstruction algorithms are an interpretive tool that map brain activity to pixels. Past reconstruction algorithms employed brute-force search through a massive library to select candidate images that, when passed through an encoding model, accurately predict brain activity. Here, we use conditional generative diffusion models to extend and improve this search-based strategy. We decode a semantic descriptor from human brain activity (7T fMRI) in voxels across most of visual cortex, then use a diffusion model to sample a small library of images conditioned on this descriptor. We pass each sample through an encoding model, select the images that best predict brain activity, and then use these images to seed another library. We show that this process converges on high-quality reconstructions by refining low-level image details while preserving semantic content across iterations. Interestingly, the time-to-convergence differs systematically across visual cortex, suggesting a succinct new way to measure the diversity of representations across visual brain areas.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI