Adapting to time: why nature evolved a diverse set of neurons

要約

進化により、時間情報の処理に影響を与える、さまざまな形態と生理学的特性を持つ多様なニューロンのセットが生み出されました。
さらに、スパイクのタイミングがニューラル計算において重要な要素であることが経験的に知られています。
ただし、これら 2 つの観察にもかかわらず、ほとんどのニューラル ネットワーク モデルは、変動を重みやバイアスなどのパラメーターに制限しながら、同期タイム ステップで空間的に構造化された入力を処理します。
この研究では、時定数や遅延などの時間パラメータを時空間スパイク パターンをマップするフィードフォワード ネットワークに適応させることの関連性を調査します。
これに関連して、潜在的なダイナミクスが豊富なネットワークは、時間構造を持つタスクをより簡単かつ確実に学習できることを示します。
実際、適応が重みに制限されていた場合、ネットワークはほとんどの問題を解決できませんでした。
また、さまざまなパラメーター間の強い相互作用と、入力および重みのノイズを扱うときに時間パラメーターを適応させる利点も示します。これは、ニューロモーフィック ハードウェア設計に役立つ可能性があります。

要約(オリジナル)

Evolution has yielded a diverse set of neurons with varying morphologies and physiological properties that impact their processing of temporal information. In addition, it is known empirically that spike timing is a significant factor in neural computations. However, despite these two observations, most neural network models deal with spatially structured inputs with synchronous time steps, while restricting variation to parameters like weights and biases. In this study, we investigate the relevance of adapting temporal parameters, like time constants and delays, in feedforward networks that map spatio-temporal spike patterns. In this context, we show that networks with richer potential dynamics are able to more easily and robustly learn tasks with temporal structure. Indeed, when adaptation was restricted to weights, networks were unable to solve most problems. We also show strong interactions between the various parameters and the advantages of adapting temporal parameters when dealing with noise in inputs and weights, which might prove useful in neuromorphic hardware design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google