Continuous Deep Equilibrium Models: Training Neural ODEs faster by integrating them to Infinity

要約

暗黙的なモデルは、レイヤーの定義をそのソリューション プロセスの記述から分離します。
暗黙的なレイヤーにより、深度などの機能を新しいシナリオや入力に自動的に適応させることができますが、この適応性により、計算コストの予測が困難になります。
この原稿では、\textit{無限時間ニューラル ODE に関してメソッドを再定義することにより、DEQ の「暗黙性」を高めます}。逆説的に、標準ニューラル ODE よりもトレーニング コストを $\mathit{2} 削減します –
\mathit{4 \times}$.
\textit{明示的な層の計算コストを削減しながら、暗黙的な層の堅牢性を同時に達成する方法はありますか?} これを解決するために、Skip と Skip Reg を開発しました。
DEQ は、明示的予測とそれに続く暗黙的修正を同時にトレーニングする暗黙的明示的 (IMEX) レイヤーです。
この明示的な予測子のトレーニングは無料であり、さらにトレーニング時間が $\mathit{1.11} – \mathit{3.19 \times}$ 短縮されることを示します。
一緒に、この原稿は、暗黙的および明示的な深層学習の二分法を橋渡しすることで、両方の手法の利点を組み合わせる方法を示しています。

要約(オリジナル)

Implicit models separate the definition of a layer from the description of its solution process. While implicit layers allow features such as depth to adapt to new scenarios and inputs automatically, this adaptivity makes its computational expense challenging to predict. In this manuscript, we \textit{increase the “implicitness’ of the DEQ by redefining the method in terms of an infinite time neural ODE}, which paradoxically decreases the training cost over a standard neural ODE by $\mathit{2} – \mathit{4 \times}$. Additionally, we address the question: \textit{is there a way to simultaneously achieve the robustness of implicit layers while allowing the reduced computational expense of an explicit layer?} To solve this, we develop Skip and Skip Reg. DEQ, an implicit-explicit (IMEX) layer that simultaneously trains an explicit prediction followed by an implicit correction. We show that training this explicit predictor is free and even decreases the training time by $\mathit{1.11} – \mathit{3.19 \times}$. Together, this manuscript shows how bridging the dichotomy of implicit and explicit deep learning can combine the advantages of both techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google