Variational formulations of ODE-Net as a mean-field optimal control problem and existence results

要約

タイトル：ODE-Netの変分形式による平均場最適制御問題の存在結果

要約：
– ODE-Netは、ディープニューラルネットワーク（DNNs）の連続モデルであり、機械学習の研究者が最近提唱した、DNNsの深い構造をODEに置き換えるアイデアに対応する。
– ODE-Netの「学習」は、パラメータ化されたODEに制約された「損失」を最小化することと見なされるが、この最小化問題の最小値だけでなく、最小化問題の最小化変数の存在についても解析的に調査されることが必要とされる。
– 本論文では、ODE-Netを測度論的な平均場最適制御問題として捉え、ODE-Netのベクトル場を記述するニューラルネットワークが学習可能なパラメータに関して線形である場合に最小化問題の解の存在を証明する。
– さらに、上記の線形性の仮定を除く理想化された最小化問題を提案し、その存在結果を証明する。
– これらの存在結果は、変分法、微分方程式、平均場最適制御理論を用いた新しい解析的手法であり、深層ニューラルネットワークの学習過程を調査するための有用なツールとなる。

要約(オリジナル)

This paper presents a mathematical analysis of ODE-Net, a continuum model of deep neural networks (DNNs). In recent years, Machine Learning researchers have introduced ideas of replacing the deep structure of DNNs with ODEs as a continuum limit. These studies regard the ‘learning’ of ODE-Net as the minimization of a ‘loss’ constrained by a parametric ODE. Although the existence of a minimizer for this minimization problem needs to be assumed, only a few studies have investigated its existence analytically in detail. In the present paper, the existence of a minimizer is discussed based on a formulation of ODE-Net as a measure-theoretic mean-field optimal control problem. The existence result is proved when a neural network, which describes a vector field of ODE-Net, is linear with respect to learnable parameters. The proof employs the measure-theoretic formulation combined with the direct method of Calculus of Variations. Secondly, an idealized minimization problem is proposed to remove the above linearity assumption. Such a problem is inspired by a kinetic regularization associated with the Benamou–Brenier formula and universal approximation theorems for neural networks. The proofs of these existence results use variational methods, differential equations, and mean-field optimal control theory. They will stand for a new analytic way to investigate the learning process of deep neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI