Memory Encoding Model

要約

私たちは、記憶関連の情報を入力として追加することにより、新しいクラスの脳符号化モデルを探索します。
記憶は、視覚刺激とともに機能する重要な脳のメカニズムです。
視覚と記憶の認知タスク中に、以前に見た画像を使用して非視覚的な脳がほぼ予測可能であることがわかりました。
当社のメモリ エンコーディング モデル (Mem) は、モデル アンサンブルなしでも Algonauts 2023 視覚脳コンペティションで優勝しました (単一モデル スコア 66.8、アンサンブル スコア 70.8)。
メモリ入力なしのアンサンブル モデル (61.4) も 3 位に入る可能性があります。
さらに、前の画像の 6 ～ 7 番目と相関する周期的な遅延脳反応が観察され、海馬もこの周期に合わせて相関した活動を示しました。
私たちは、定期的な再生が作業記憶を強化する記憶メカニズムに関連している可能性があることを結論づけます。

要約(オリジナル)

We explore a new class of brain encoding model by adding memory-related information as input. Memory is an essential brain mechanism that works alongside visual stimuli. During a vision-memory cognitive task, we found the non-visual brain is largely predictable using previously seen images. Our Memory Encoding Model (Mem) won the Algonauts 2023 visual brain competition even without model ensemble (single model score 66.8, ensemble score 70.8). Our ensemble model without memory input (61.4) can also stand a 3rd place. Furthermore, we observe periodic delayed brain response correlated to 6th-7th prior image, and hippocampus also showed correlated activity timed with this periodicity. We conjuncture that the periodic replay could be related to memory mechanism to enhance the working memory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google