Decoding the Echoes of Vision from fMRI: Memory Disentangling for Past Semantic Information

要約

人間の視覚システムは、視覚情報の連続的なストリームを処理することができますが、連続的な視覚処理中に脳がどのようにして最近の視覚記憶をエンコードして検索するのかはまだ解明されていません。
この研究では、継続的な視覚刺激下で過去の情報を保持する作業記憶の能力を調査します。
そして、fMRI 信号から過去の情報を抽出して解読することを目的とした新しいタスク Memory Disentangling を提案します。
過去の記憶情報からの干渉の問題に対処するために、我々は、積極的な干渉の現象に触発された、もつれの解けた対照的な学習方法を設計します。
この方法では、隣接する fMRI 信号間の情報を現在と過去の成分に分離し、それらを画像記述にデコードします。
実験結果は、この方法が fMRI 信号内の情報を効果的に解きほぐすことを示しています。
この研究により、ブレインコンピューターインターフェースが進歩し、fMRI における時間分解能が低いという問題が軽減される可能性があります。

要約(オリジナル)

The human visual system is capable of processing continuous streams of visual information, but how the brain encodes and retrieves recent visual memories during continuous visual processing remains unexplored. This study investigates the capacity of working memory to retain past information under continuous visual stimuli. And then we propose a new task Memory Disentangling, which aims to extract and decode past information from fMRI signals. To address the issue of interference from past memory information, we design a disentangled contrastive learning method inspired by the phenomenon of proactive interference. This method separates the information between adjacent fMRI signals into current and past components and decodes them into image descriptions. Experimental results demonstrate that this method effectively disentangles the information within fMRI signals. This research could advance brain-computer interfaces and mitigate the problem of low temporal resolution in fMRI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google