On the Generalization of Spiking Neural Networks via Minimum Description Length and Structural Stability

要約

タイトル：最小記述長と構造的安定性を通じたスパイキングニューラルネットワークの汎化に関する研究

要約：
– スパイキングニューラルネットワークは、時系列のデータをモデル化する上で非常に有用であるため、過去数十年間で非常に注目を集めています。
– これまでにも多くの実験的なアルゴリズムやテクニックが開発されていますが、実際に未知のデータに対してどの程度パフォーマンスを発揮するかは理論的にまだ不明な点が残っています。
– この研究では、最小記述長の原理を利用することでスパイキングニューラルネットワークの明示的な汎化バウンドを提示しています。
– さらに、SNNの記述長を構造的安定性によって実装し、安定な分岐解の最大数の下限および上限を指定しています。
– これにより、SNNの構造的安定性の問題を定量的な属性を持つ数学的な問題に変換することができます。

要約(オリジナル)

The past decades have witnessed an increasing interest in spiking neural networks due to their great potential of modeling time-dependent data. Many empirical algorithms and techniques have been developed. However, theoretically, it remains unknown whether and to what extent a trained spiking neural network performs well on unseen data. This work takes one step in this direction by exploiting the minimum description length principle and thus, presents an explicit generalization bound for spiking neural networks. Further, we implement the description length of SNNs through structural stability and specify the lower and upper bounds of the maximum number of stable bifurcation solutions, which convert the challenge of qualifying structural stability in SNNs into a mathematical problem with quantitative properties.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI