Memory of recurrent networks: Do we compute it right?

要約

タイトル：過去の単純な計算は正しいのか？再帰的ネットワークのメモリの数値評価について
要約：
-再帰型ニューラルネットワークのメモリ容量（MC）の数値評価は、既存の理論的な境界と矛盾していることが多い。
-線形エコーステートネットワークの場合について研究し、対応するカルマン可制御性行列のランクと等しいことが証明された。
-メモリの不正確な数値評価のさまざまな理由について調べ、最近の文献でしばしば見落とされる問題が存在することを示す。これらの問題は、数値的な性質に限定される。
-最小次元方法が線形MCのKrylov構造を無視する場合、理論的MCと実際のMCの間にギャップが生じることが証明され、これを解決するためにMC入力マスク行列に関するMC中立性の結果を利用した堅牢な数値的アプローチを開発する。
-提案された方法を用いたシミュレーションは、理論と完全に一致するメモリ曲線を回収することができることを示している。

要約(オリジナル)

Numerical evaluations of the memory capacity (MC) of recurrent neural networks reported in the literature often contradict well-established theoretical bounds. In this paper, we study the case of linear echo state networks, for which the total memory capacity has been proven to be equal to the rank of the corresponding Kalman controllability matrix. We shed light on various reasons for the inaccurate numerical estimations of the memory, and we show that these issues, often overlooked in the recent literature, are of an exclusively numerical nature. More explicitly, we prove that when the Krylov structure of the linear MC is ignored, a gap between the theoretical MC and its empirical counterpart is introduced. As a solution, we develop robust numerical approaches by exploiting a result of MC neutrality with respect to the input mask matrix. Simulations show that the memory curves that are recovered using the proposed methods fully agree with the theory.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI