Deep Neural Networks and Brain Alignment: Brain Encoding and Decoding (Survey)

要約

AI モデルを使用して脳についての洞察を得ることができるでしょうか?
深層学習モデルの情報は脳の記録とどのように関連しているのでしょうか?
脳の記録を利用して AI モデルを改善できるでしょうか?
このような疑問は、機能的磁気共鳴画像法 (fMRI) などの脳記録を研究することで解決できます。
最初のステップとして、神経科学コミュニティは、概念の単語、物語、写真、映画の受動的読み取り/リスニング/視聴に関連するいくつかの大規模な認知神経科学データセットを提供しました。
これらのデータセットを使用したエンコードおよびデコード モデルも、過去 20 年間に提案されてきました。
これらのモデルは、基礎的な認知科学および神経科学研究のための追加ツールとして機能します。
エンコーディング モデルは、刺激が与えられると fMRI の脳表現を自動的に生成することを目的としています。
これらは、神経学的状態の評価および診断においていくつかの実用的な用途があり、したがって脳損傷の治療法を設計するのにも役立つ可能性があります。
デコードモデルは、fMRI から与えられた刺激を再構成するという逆問題を解決します。
これらは、ブレイン マシンまたはブレイン コンピューター インターフェイスの設計に役立ちます。
自然言語処理、コンピューター ビジョン、および音声に対する深層学習モデルの有効性に着想を得て、いくつかのニューラル エンコーディングおよびデコーディング モデルが最近提案されています。
この調査では、まず言語、視覚、音声刺激の一般的な表現について議論し、神経科学のデータセットの概要を提示します。
さらに、一般的な深層学習ベースのエンコードおよびデコード アーキテクチャを確認し、その利点と制限についても説明します。
最後に総括と今後の動向についての考察を行います。
計算的認知神経科学 (CCN) コミュニティで最近発表された大量の研究結果を考慮すると、この調査によって DNN 研究者が CCN 研究に多様化するための入り口ができると考えています。

要約(オリジナル)

Can we obtain insights about the brain using AI models? How is the information in deep learning models related to brain recordings? Can we improve AI models with the help of brain recordings? Such questions can be tackled by studying brain recordings like functional magnetic resonance imaging (fMRI). As a first step, the neuroscience community has contributed several large cognitive neuroscience datasets related to passive reading/listening/viewing of concept words, narratives, pictures, and movies. Encoding and decoding models using these datasets have also been proposed in the past two decades. These models serve as additional tools for basic cognitive science and neuroscience research. Encoding models aim at generating fMRI brain representations given a stimulus automatically. They have several practical applications in evaluating and diagnosing neurological conditions and thus may also help design therapies for brain damage. Decoding models solve the inverse problem of reconstructing the stimuli given the fMRI. They are useful for designing brain-machine or brain-computer interfaces. Inspired by the effectiveness of deep learning models for natural language processing, computer vision, and speech, several neural encoding and decoding models have been recently proposed. In this survey, we will first discuss popular representations of language, vision and speech stimuli, and present a summary of neuroscience datasets. Further, we will review popular deep learning based encoding and decoding architectures and note their benefits and limitations. Finally, we will conclude with a summary and discussion about future trends. Given the large amount of recently published work in the computational cognitive neuroscience (CCN) community, we believe that this survey enables an entry point for DNN researchers to diversify into CCN research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google