A Deep Learning-based in silico Framework for Optimization on Retinal Prosthetic Stimulation

要約

我々は、インシリコ網膜インプラントモデルpulse2perceptによってシミュレートされた知覚を最適化するための、ニューラルネットワークベースのフレームワークを提案する。全体のパイプラインは、学習可能なエンコーダ、事前に学習された網膜インプラントモデル、事前に学習された評価器から構成される。エンコーダはU-Netで、原画を取り込み、刺激を出力する。網膜移植モデルもU-Netであり、pulse2perceptに実装された生体模倣知覚モデルを模倣するように学習される。評価器は浅いVGG分類器であり、原画像で学習させる。MNISTデータセットの10,000枚のテスト画像に基づき、畳み込みニューラルネットワークベースのエンコーダは、些細なダウンサンプリングアプローチよりも著しく性能が良く、6×10電極で事前学習された分類器において、重み付けF1-スコアが36.17%向上することが示されました。このニューラルネットワークベースのエンコーダーでは、エンドツーエンドで勾配降下法を用いて下流の知覚の質を微調整することが可能である。

要約(オリジナル)

We propose a neural network-based framework to optimize the perceptions simulated by the in silico retinal implant model pulse2percept. The overall pipeline consists of a trainable encoder, a pre-trained retinal implant model and a pre-trained evaluator. The encoder is a U-Net, which takes the original image and outputs the stimulus. The pre-trained retinal implant model is also a U-Net, which is trained to mimic the biomimetic perceptual model implemented in pulse2percept. The evaluator is a shallow VGG classifier, which is trained with original images. Based on 10,000 test images from the MNIST dataset, we show that the convolutional neural network-based encoder performs significantly better than the trivial downsampling approach, yielding a boost in the weighted F1-Score by 36.17% in the pre-trained classifier with 6×10 electrodes. With this fully neural network-based encoder, the quality of the downstream perceptions can be fine-tuned using gradient descent in an end-to-end fashion.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL