Towards Scalable and Stable Parallelization of Nonlinear RNNs

要約

従来の非線形 RNN は、トランスフォーマーや線形 RNN とは異なり、シーケンス長全体にわたって自然に並列化できません。
リムら
アル。
したがって、(2024) は、非線形 RNN の並列評価に取り組み、それをニュートン法で解決される固定点問題として提起しました。
ニュートン法の並列化形式を導出して適用することにより、逐次評価に比べて大幅な高速化を達成しました。
ただし、彼らのアプローチは 3 次計算の複雑さと数値的不安定性を引き継いでいます。
私たちはこれらの弱点に取り組みます。
計算の複雑さを軽減するために、準ニュートン近似を適用し、完全ニュートンと比較して同等に収束し、メモリ使用量が少なく、高速であることを示します。
ニュートン法を安定させるために、信頼領域で減衰されたニュートン法とカルマン平滑化の間の接続を利用します。
この接続により、信頼領域ごとに反復を安定化し、効率的な並列カルマン アルゴリズムを使用してパフォーマンスを維持できるようになります。
これらの方法を経験的に比較し、各アルゴリズムが優れているユースケースを強調します。

要約(オリジナル)

Conventional nonlinear RNNs are not naturally parallelizable across the sequence length, unlike transformers and linear RNNs. Lim et. al. (2024) therefore tackle parallelized evaluation of nonlinear RNNs, posing it as a fixed point problem solved with Newton’s method. By deriving and applying a parallelized form of Newton’s method, they achieve large speedups over sequential evaluation. However, their approach inherits cubic computational complexity and numerical instability. We tackle these weaknesses. To reduce the computational complexity, we apply quasi-Newton approximations and show they converge comparably, use less memory, and are faster, compared to full-Newton. To stabilize Newton’s method, we leverage a connection between Newton’s method damped with trust regions and Kalman smoothing. This connection allows us to stabilize the iteration, per the trust region, and use efficient parallelized Kalman algorithms to retain performance. We compare these methods empirically and highlight use cases where each algorithm excels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google