Convolutional Neural Networks combined with Runge-Kutta Methods

要約

畳み込みニューラルネットワークは、そのフォワードパスを力学系の軌道と見なすことができるため、力学系を解くための数値計算法を用いて構築することができる。しかし、数値解法に基づく既存のモデルは陰解法による反復を避けることができないため、推論時に非効率的である。本論文では、活性化前の残差網（ResNets）とその変形を力学系の観点から再解釈する。我々は、暗黙的Runge-Kutta法の反復をこれらのモデルの学習に融合させることを考える。さらに、より高い効率を達成するために、高次Runge-Kutta法に基づくネットワークモデルを構築する新しいアプローチを提案する。提案するモデルはRunge-Kutta Convolutional Neural Networks (RKCNNs)と呼ばれるものである。RKCNNは複数のベンチマークデータセットで評価される。その結果、RKCNNは他の力学系ネットワークモデルよりも圧倒的に優れており、より少ないリソースでより高い精度を達成できることが示された。また、RKCNNは動的システムの数値的手法に基づくネットワークモデルのファミリーを拡張するものである。

要約(オリジナル)

A convolutional neural network can be constructed using numerical methods for solving dynamical systems, since the forward pass of the network can be regarded as a trajectory of a dynamical system. However, existing models based on numerical solvers cannot avoid the iterations of implicit methods, which makes the models inefficient at inference time. In this paper, we reinterpret the pre-activation Residual Networks (ResNets) and their variants from the dynamical systems view. We consider that the iterations of implicit Runge-Kutta methods are fused into the training of these models. Moreover, we propose a novel approach to constructing network models based on high-order Runge-Kutta methods in order to achieve higher efficiency. Our proposed models are referred to as the Runge-Kutta Convolutional Neural Networks (RKCNNs). The RKCNNs are evaluated on multiple benchmark datasets. The experimental results show that RKCNNs are vastly superior to other dynamical system network models: they achieve higher accuracy with much fewer resources. They also expand the family of network models based on numerical methods for dynamical systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL