Uncovering the Functional Roles of Nonlinearity in Memory

要約

メモリと長距離の時間処理は、自然言語処理、時系列予測、音声認識、および制御全体のシーケンスモデリングタスクのコア要件です。
非線形の再発は、このようなメカニズムを有効にするために不可欠であると長い間見られてきましたが、最近の研究では、線形ダイナミクスで十分である可能性があることが示唆されています。
この研究では、パフォーマンスの比較を超えて、再発性ネットワークにおける非線形性の機能的役割を体系的に分析します。これは、計算上必要なときとそれが可能にするメカニズムの両方を識別します。
柔軟なモデリングツールとメモリの内部メカニズムへのプローブの両方として、ほぼ線形再発性ニューラルネットワーク（AL-RNNS）を使用します。
さまざまな古典的なシーケンスモデリングタスクと現実世界の刺激選択タスクにわたって、最小の非線形性は十分であるだけでなく、最適であり、完全に非線形または線形の対応物よりもシンプルで堅牢で、より解釈可能なモデルを生成することがわかります。
我々の結果は、非線形性を選択的に導入するための原則的なフレームワークを提供し、動的システム理論を橋渡しし、再発性ニューラルネットワークにおける長距離メモリの機能的要求と構造化された計算を橋渡しし、人工ニューラルシステムと生物学的ニューラルシステムの両方に影響を与えます。

要約(オリジナル)

Memory and long-range temporal processing are core requirements for sequence modeling tasks across natural language processing, time-series forecasting, speech recognition, and control. While nonlinear recurrence has long been viewed as essential for enabling such mechanisms, recent work suggests that linear dynamics may often suffice. In this study, we go beyond performance comparisons to systematically dissect the functional role of nonlinearity in recurrent networks–identifying both when it is computationally necessary, and what mechanisms it enables. We use Almost Linear Recurrent Neural Networks (AL-RNNs), which allow fine-grained control over nonlinearity, as both a flexible modeling tool and a probe into the internal mechanisms of memory. Across a range of classic sequence modeling tasks and a real-world stimulus selection task, we find that minimal nonlinearity is not only sufficient but often optimal, yielding models that are simpler, more robust, and more interpretable than their fully nonlinear or linear counterparts. Our results provide a principled framework for selectively introducing nonlinearity, bridging dynamical systems theory with the functional demands of long-range memory and structured computation in recurrent neural networks, with implications for both artificial and biological neural systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google