Log Neural Controlled Differential Equations: The Lie Brackets Make a Difference

要約

制御微分方程式 (CDE) のベクトル場は、制御パスと解パスの展開との関係を記述します。
ニューラル CDE (NCDE) は、時系列データを制御パスからの観測値として扱い、ニューラル ネットワークを使用して CDE のベクトル フィールドをパラメータ化し、継続的に進化する隠れ状態として解パスを使用します。
NCDE は、その定式化によって不規則なサンプリング レートに対して堅牢になるため、現実世界のデータをモデル化するための強力なアプローチとなります。
ニューラルの粗微分方程式 (NRDE) に基づいて、NCDE をトレーニングするための新しく効果的な方法である Log-NCDE を紹介します。
Log-NCDE のコア コンポーネントは Log-ODE メソッドです。これは、CDE の解を近似するための大まかなパスの研究から得られたツールです。
一連の多変量時系列分類ベンチマークでは、Log-NCDE は、NCDE、NRDE、および 2 つの最先端モデルである S5 と線形リカレント ユニットよりも高い平均テスト セット精度を達成することが示されています。

要約(オリジナル)

The vector field of a controlled differential equation (CDE) describes the relationship between a control path and the evolution of a solution path. Neural CDEs (NCDEs) treat time series data as observations from a control path, parameterise a CDE’s vector field using a neural network, and use the solution path as a continuously evolving hidden state. As their formulation makes them robust to irregular sampling rates, NCDEs are a powerful approach for modelling real-world data. Building on neural rough differential equations (NRDEs), we introduce Log-NCDEs, a novel and effective method for training NCDEs. The core component of Log-NCDEs is the Log-ODE method, a tool from the study of rough paths for approximating a CDE’s solution. On a range of multivariate time series classification benchmarks, Log-NCDEs are shown to achieve a higher average test set accuracy than NCDEs, NRDEs, and two state-of-the-art models, S5 and the linear recurrent unit.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google