From NeurODEs to AutoencODEs: a mean-field control framework for width-varying Neural Networks

要約

残差ニューラル ネットワーク (ResNets) と連続時間制御システム (NeurODE として知られる) の間の接続により、ニューラル ネットワークの数学的解析が行われ、理論的および実用的意義の両方で興味深い結果が得られました。
ただし、NeurODE は構造上、一定幅のレイヤーの記述に限定されているため、可変幅のレイヤーを含む深層学習アーキテクチャのモデリングには適していません。
この論文では、ダイナミクスを駆動する制御フィールドの修正に基づいて、AutoencODE と呼ばれる連続時間オートエンコーダーを提案します。
この適応により、もともと従来の NeurODE 用に考案された平均場制御フレームワークの拡張が可能になります。
この設定では、低チホノフ正則化のケースに取り組み、その結果、非凸コストランドスケープが生じる可能性があります。
高いチホノフ正則化で得られた全体的な結果は全体的には当てはまらない可能性がありますが、損失関数が局所的に凸である領域ではその多くが回復できることを示します。
理論的発見に触発されて、残留接続を備えたこの特定のタイプのオートエンコーダーに合わせたトレーニング方法を開発し、さまざまな例で行われた数値実験を通じてアプローチを検証します。

要約(オリジナル)

The connection between Residual Neural Networks (ResNets) and continuous-time control systems (known as NeurODEs) has led to a mathematical analysis of neural networks which has provided interesting results of both theoretical and practical significance. However, by construction, NeurODEs have been limited to describing constant-width layers, making them unsuitable for modeling deep learning architectures with layers of variable width. In this paper, we propose a continuous-time Autoencoder, which we call AutoencODE, based on a modification of the controlled field that drives the dynamics. This adaptation enables the extension of the mean-field control framework originally devised for conventional NeurODEs. In this setting, we tackle the case of low Tikhonov regularization, resulting in potentially non-convex cost landscapes. While the global results obtained for high Tikhonov regularization may not hold globally, we show that many of them can be recovered in regions where the loss function is locally convex. Inspired by our theoretical findings, we develop a training method tailored to this specific type of Autoencoders with residual connections, and we validate our approach through numerical experiments conducted on various examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google