From NeurODEs to AutoencODEs: a mean-field control framework for width-varying Neural Networks

要約

私たちの研究では、Residual Neural Networks (ResNets) と NeurODE として知られる連続時間制御システムの間に確立された接続を構築しています。
NeurODE は構造上、一定幅の層に制限されているため、幅が変化する層を含む深層学習アーキテクチャのモデリングには適していません。
この論文では、AutoencODE と呼ばれる連続時間オートエンコーダを提案し、通常の NeurODE 用にすでに開発されている平均場制御フレームワークをこのケースに拡張します。
この設定では、低チホノフ正則化のケースに取り組み、その結果、非凸コストランドスケープが生じる可能性があります。
高いチホノフ正則化で得られた全体的な結果は全体的には当てはまらない可能性がありますが、損失関数が局所的に凸である領域ではその多くが回復できることを示します。
理論的発見に触発されて、残留接続を備えたこの特定のタイプのオートエンコーダーに合わせたトレーニング方法を開発し、さまざまな例で行われた数値実験を通じてアプローチを検証します。

要約(オリジナル)

In our work, we build upon the established connection between Residual Neural Networks (ResNets) and continuous-time control systems known as NeurODEs. By construction, NeurODEs have been limited to constant-width layers, making them unsuitable for modeling deep learning architectures with width-varying layers. In this paper, we propose a continuous-time Autoencoder, which we call AutoencODE, and we extend to this case the mean-field control framework already developed for usual NeurODEs. In this setting, we tackle the case of low Tikhonov regularization, resulting in potentially non-convex cost landscapes. While the global results obtained for high Tikhonov regularization may not hold globally, we show that many of them can be recovered in regions where the loss function is locally convex. Inspired by our theoretical findings, we develop a training method tailored to this specific type of Autoencoders with residual connections, and we validate our approach through numerical experiments conducted on various examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google