Numerical Analysis of HiPPO-LegS ODE for Deep State Space Models

要約

深層学習では、最近導入された状態空間モデルは、HiPPO (高次多項式射影演算子) メモリ ユニットを利用して、常微分方程式 (ODE) を使用して入力関数の連続時間軌跡を近似します。これらの技術は、長期にわたる
長い入力シーケンスにおける範囲依存性。
ただし、これらの ODE、特に特異な HiPPO-LegS (Legendre Scaled) ODE、およびそれらに対応する数値離散化の数学的基礎は未調査のままです。
この研究では、任意の初期条件の自由がないにもかかわらず、HiPPO-LegS ODE がその特異性にもかかわらず適切に設定されていることを確立し、リーマン可積分可能な入力関数に関連する数値離散化スキームの収束を確立することによって、このギャップを埋めます。

要約(オリジナル)

In deep learning, the recently introduced state space models utilize HiPPO (High-order Polynomial Projection Operators) memory units to approximate continuous-time trajectories of input functions using ordinary differential equations (ODEs), and these techniques have shown empirical success in capturing long-range dependencies in long input sequences. However, the mathematical foundations of these ODEs, particularly the singular HiPPO-LegS (Legendre Scaled) ODE, and their corresponding numerical discretizations remain unexplored. In this work, we fill this gap by establishing that HiPPO-LegS ODE is well-posed despite its singularity, albeit without the freedom of arbitrary initial conditions, and by establishing convergence of the associated numerical discretization schemes for Riemann-integrable input functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google