Expressivity of Quadratic Neural ODEs

要約

この作業は、ダイナミクスにほとんどの二次非線形性を持つ神経の通常の微分方程式の定量的近似誤差境界を導出することに焦点を当てています。
このモデル形式の単純なダイナミクスは、表現力が主に多くの基本的な基本操作を繰り返し構成することからどのように導き出されるかを示しています。
アナログ微分アナライザーやユニバーサル多項式DAEのように、表現力は代わりに主にモデルの「深さ」から導き出されます。
これらの結果は、深い学習アーキテクチャの能力にどのような深さが特に与えるかについての理解に貢献しています。

要約(オリジナル)

This work focuses on deriving quantitative approximation error bounds for neural ordinary differential equations having at most quadratic nonlinearities in the dynamics. The simple dynamics of this model form demonstrates how expressivity can be derived primarily from iteratively composing many basic elementary operations, versus from the complexity of those elementary operations themselves. Like the analog differential analyzer and universal polynomial DAEs, the expressivity is derived instead primarily from the ‘depth’ of the model. These results contribute to our understanding of what depth specifically imparts to the capabilities of deep learning architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google