Neural Delay Differential Equations: System Reconstruction and Image Classification

要約

タイトル：ニューラルディレイ微分方程式：システム再構築と画像分類

要約：
– Neural Ordinary Differential Equations（NODE）は、代表的なデータセットを扱う際に、特に有効性がある深さ連続ニューラルネットワークの枠組である。
– 最近、元のフレームワークの適用において現れたいくつかの制限を克服するための拡張フレームワークが開発されました。
– 本論文では、ディレイを持つ新しい連続深度ニューラルネットワークのクラス、ニューラルディレイ微分方程式（NDDE）を提案する。
– 対応する勾配を計算するために、準位感度法を使用して、遅延アジョイントの遅延動向を計算する。
– 遅延を含む微分方程式は、より豊かな動力学を持つ無限次元の動的システムとして一般的に見られる。
– NODEと比較して、NDDEはより強力な非線形表現能力を持っています。
– いくつかの示唆的な例を使用して、この優れた能力を証明します。
– まず、モデルフリーまたはモデルベースの方法で、低次元の位相空間における軌跡が相互に交差し、混沌的になるような遅延ダイナミクスを成功裏にモデル化しました。これは、NODEの場合、議論をせずには直接適用できない。
– 第二に、複雑なモデルによって生成されたデータだけでなく、よく知られた画像データセットのCIFAR10でも、より低い損失とより高い精度を達成しました。
– NDDEにおける結果は、動的システムの要素をネットワーク設計に適切に組み込むことが、ネットワークの性能を向上させるのに本当に役立つことを示しています。

要約(オリジナル)

Neural Ordinary Differential Equations (NODEs), a framework of continuous-depth neural networks, have been widely applied, showing exceptional efficacy in coping with representative datasets. Recently, an augmented framework has been developed to overcome some limitations that emerged in the application of the original framework. In this paper, we propose a new class of continuous-depth neural networks with delay, named Neural Delay Differential Equations (NDDEs). To compute the corresponding gradients, we use the adjoint sensitivity method to obtain the delayed dynamics of the adjoint. Differential equations with delays are typically seen as dynamical systems of infinite dimension that possess more fruitful dynamics. Compared to NODEs, NDDEs have a stronger capacity of nonlinear representations. We use several illustrative examples to demonstrate this outstanding capacity. Firstly, we successfully model the delayed dynamics where the trajectories in the lower-dimensional phase space could be mutually intersected and even chaotic in a model-free or model-based manner. Traditional NODEs, without any argumentation, are not directly applicable for such modeling. Secondly, we achieve lower loss and higher accuracy not only for the data produced synthetically by complex models but also for the CIFAR10, a well-known image dataset. Our results on the NDDEs demonstrate that appropriately articulating the elements of dynamical systems into the network design is truly beneficial in promoting network performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI