Brain decoding: toward real-time reconstruction of visual perception

要約

過去 5 年間で、生成的および基礎的な AI システムの使用により、脳活動の解読が大幅に改善されました。
特に視覚認識は、機能的磁気共鳴画像法 (fMRI) から驚くべき忠実度でデコードできるようになりました。
ただし、この神経画像技術には時間分解能が限られている ($\およそ$0.5 Hz) ため、リアルタイムでの使用が根本的に制約されます。
ここでは、脳磁図 (MEG) に基づく代替アプローチを提案します。MEG は、高い時間分解能 (約 5,000 Hz) で脳活動を測定できる神経画像装置です。
このために、対比目標と回帰目標の両方でトレーニングされ、3 つのモジュールで構成される MEG デコード モデルを開発します。i) 画像から取得された事前トレーニングされた埋め込み、ii) エンドツーエンドでトレーニングされた MEG モジュール、および iii) 事前トレーニングされた画像ジェネレーター。
私たちの結果は 3 つあります。まず、MEG デコーダは、従来の線形デコーダと比較して画像検索が 7 倍向上していることを示しています。
第 2 に、画像に対する脳の後期反応は、最近の基本的な画像モデルである DINOv2 を使用して最もよくデコードされます。
第三に、画像の検索と生成はどちらも、高レベルの視覚特徴を MEG 信号からデコードできることを示唆していますが、7T fMRI に適用された同じアプローチにより、より優れた低レベルの特徴も回復されます。
全体として、これらの結果は暫定的ではありますが、人間の脳内で継続的に展開される視覚プロセスをリアルタイムで解読するための重要な一歩を提供します。

要約(オリジナル)

In the past five years, the use of generative and foundational AI systems has greatly improved the decoding of brain activity. Visual perception, in particular, can now be decoded from functional Magnetic Resonance Imaging (fMRI) with remarkable fidelity. This neuroimaging technique, however, suffers from a limited temporal resolution ($\approx$0.5 Hz) and thus fundamentally constrains its real-time usage. Here, we propose an alternative approach based on magnetoencephalography (MEG), a neuroimaging device capable of measuring brain activity with high temporal resolution ($\approx$5,000 Hz). For this, we develop an MEG decoding model trained with both contrastive and regression objectives and consisting of three modules: i) pretrained embeddings obtained from the image, ii) an MEG module trained end-to-end and iii) a pretrained image generator. Our results are threefold: Firstly, our MEG decoder shows a 7X improvement of image-retrieval over classic linear decoders. Second, late brain responses to images are best decoded with DINOv2, a recent foundational image model. Third, image retrievals and generations both suggest that high-level visual features can be decoded from MEG signals, although the same approach applied to 7T fMRI also recovers better low-level features. Overall, these results, while preliminary, provide an important step towards the decoding — in real-time — of the visual processes continuously unfolding within the human brain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google