Learning on Manifolds: Universal Approximations Properties using Geometric Controllability Conditions for Neural ODEs

要約

多くのロボット工学や機械工学のアプリケーションでは、回転自由度の存在により、データが滑らかな多様体に制約されることがよくあります。
ただし、ニューラル常微分方程式 (ODE) などの一般的なデータ駆動型および学習ベースの手法は、通常、これらの多様な制約を満たすことができず、これらのアプリケーションではパフォーマンスが低くなります。
この欠点に対処するために、この論文では、設計により特定の多様体を不変のままにし、制御アフィン システムの可制御性特性を利用してその特性を特徴付ける、神経常微分方程式のクラスを研究します。
特に、フィードバック制御システムの流れによる微分同相写像の近似に関する Agrachev と Caponigro の結果を使用して、多様体拘束力学系の流れとして表現できるマップは、多様体の流れを使用して近似できることを示します。
特定の制御可能条件が満たされるたびに、制約付きニューラル ODE。
さらに、ニューラル ODE の各層の幅が制限されている場合でも、この普遍的な近似特性が維持され、近似の代わりにネットワークの深さを利用できることを示します。
宇宙船や衛星などの機械システムのモデル多様体である多様体 S2 と 3 次元直交群 SO(3) に対する PyTorch 上の数値実験を使用して、理論的結果を検証します。
また、多様体不変ニューラル ODE のパフォーマンスを、多様体不変特性を無視する古典的なニューラル ODE と比較し、精度とサンプルの複雑さの点で私たちのアプローチの優位性を示します。

要約(オリジナル)

In numerous robotics and mechanical engineering applications, among others, data is often constrained on smooth manifolds due to the presence of rotational degrees of freedom. Common datadriven and learning-based methods such as neural ordinary differential equations (ODEs), however, typically fail to satisfy these manifold constraints and perform poorly for these applications. To address this shortcoming, in this paper we study a class of neural ordinary differential equations that, by design, leave a given manifold invariant, and characterize their properties by leveraging the controllability properties of control affine systems. In particular, using a result due to Agrachev and Caponigro on approximating diffeomorphisms with flows of feedback control systems, we show that any map that can be represented as the flow of a manifold-constrained dynamical system can also be approximated using the flow of manifold-constrained neural ODE, whenever a certain controllability condition is satisfied. Additionally, we show that this universal approximation property holds when the neural ODE has limited width in each layer, thus leveraging the depth of network instead for approximation. We verify our theoretical findings using numerical experiments on PyTorch for the manifolds S2 and the 3-dimensional orthogonal group SO(3), which are model manifolds for mechanical systems such as spacecrafts and satellites. We also compare the performance of the manifold invariant neural ODE with classical neural ODEs that ignore the manifold invariant properties and show the superiority of our approach in terms of accuracy and sample complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google