Never Reset Again: A Mathematical Framework for Continual Inference in Recurrent Neural Networks

要約

リカレント ニューラル ネットワーク (RNN) は逐次処理に広く使用されていますが、状態の飽和による継続的な推論では根本的な制限に直面し、破壊的な隠れ状態のリセットが必要になります。
ただし、リセットベースの方法では、入力境界との同期要件が課され、推論時の計算コストが増加します。
これに対処するために、拡張シーケンスにわたって高精度を維持しながら、推論中のリセットの必要性を排除する適応損失関数を提案します。
クロスエントロピーとカルバック・ライブラー発散を組み合わせることで、損失は入力情報に基づいて勾配を動的に調整し、ネットワークが意味のあるデータをノイズから区別し、長期にわたって安定した表現を維持できるようにします。
実験結果は、私たちのリセットフリーのアプローチが、さまざまな RNN、特に継続的なタスクに適用した場合、従来のリセットベースの手法よりも優れたパフォーマンスを発揮し、ストリーミング アプリケーションに対する RNN の理論的および実用的な機能の両方を強化することを示しています。

要約(オリジナル)

Recurrent Neural Networks (RNNs) are widely used for sequential processing but face fundamental limitations with continual inference due to state saturation, requiring disruptive hidden state resets. However, reset-based methods impose synchronization requirements with input boundaries and increase computational costs at inference. To address this, we propose an adaptive loss function that eliminates the need for resets during inference while preserving high accuracy over extended sequences. By combining cross-entropy and Kullback-Leibler divergence, the loss dynamically modulates the gradient based on input informativeness, allowing the network to differentiate meaningful data from noise and maintain stable representations over time. Experimental results demonstrate that our reset-free approach outperforms traditional reset-based methods when applied to a variety of RNNs, particularly in continual tasks, enhancing both the theoretical and practical capabilities of RNNs for streaming applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google