The Brain-Inspired Decoder for Natural Visual Image Reconstruction

要約

脳の活動から画像を解読することは挑戦でした。
ディープラーニングの開発により、この問題を解決するための利用可能なツールがあります。
デコードされた画像。これは、神経スパイク列を低レベルの視覚的特徴と高レベルの意味情報空間にマッピングすることを目的としています。
最近、スパイク列からのデコードに関するいくつかの研究がありますが、これらの研究は神経科学の基礎にあまり注意を払わず、受容野を視覚画像再構成に統合した研究はほとんどありません。
本論文では、スパイク列から視覚画像を再構築するための生物学的特性を備えた深層学習ニューラルネットワークアーキテクチャを提案します。
私たちの知る限り、受容野特性行列を損失関数に初めて統合する方法を実装しました。
私たちのモデルは、神経スパイク列から画像までのエンドツーエンドのデコーダーです。
ガボールフィルターを、画像の生成に使用されるオートエンコーダーに統合しただけでなく、受容野特性を備えた損失関数を提案しました。
マカク一次視覚野神経スパイクとサラマンダー網膜神経節細胞（RGC）スパイクを含む2つのデータセットでデコーダーを評価しました。
私たちの結果は、私たちの方法が受容野の特徴を効果的に組み合わせて画像を再構成し、神経情報に基づく視覚再構成への新しいアプローチを提供できることを示しています。

要約(オリジナル)

Decoding images from brain activity has been a challenge. Owing to the development of deep learning, there are available tools to solve this problem. The decoded image, which aims to map neural spike trains to low-level visual features and high-level semantic information space. Recently, there are a few studies of decoding from spike trains, however, these studies pay less attention to the foundations of neuroscience and there are few studies that merged receptive field into visual image reconstruction. In this paper, we propose a deep learning neural network architecture with biological properties to reconstruct visual image from spike trains. As far as we know, we implemented a method that integrated receptive field property matrix into loss function at the first time. Our model is an end-to-end decoder from neural spike trains to images. We not only merged Gabor filter into auto-encoder which used to generate images but also proposed a loss function with receptive field properties. We evaluated our decoder on two datasets which contain macaque primary visual cortex neural spikes and salamander retina ganglion cells (RGCs) spikes. Our results show that our method can effectively combine receptive field features to reconstruct images, providing a new approach to visual reconstruction based on neural information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google