Continuous Deep Equilibrium Models: Training Neural ODEs faster by integrating them to Infinity

要約

インプリシットモデルは、レイヤーの定義とその解決プロセスの記述を分離する。暗黙的なレイヤーは、深さなどの機能が新しいシナリオや入力に自動的に適応することを可能にするが、この適応性により、その計算費用の予測が困難になる。この原稿では、DEQを無限時間のニューラルODEの観点から再定義することで、DEQの「暗黙性」を高め、逆説的に標準的なニューラルODEよりも学習コストを2～4倍低下させた。さらに、「陽解法層の計算量を減らしながら、陰解法層の頑健性を同時に実現する方法はあるのか」という疑問にも取り組んでいます。これを解決するために、私たちはSkipとSkip Regを開発しました。DEQは、陽的予測に続いて陰的補正を同時に学習する陰的-陽的（IMEX）層である。この明示的予測層の学習は無料であり、さらに学習時間を1.11-3.19倍に短縮できることを示す。合わせて、この原稿は、暗黙的深層学習と明示的深層学習の二項対立を橋渡しすることで、両技術の長所を組み合わせることができることを示す。

要約(オリジナル)

Implicit models separate the definition of a layer from the description of its solution process. While implicit layers allow features such as depth to adapt to new scenarios and inputs automatically, this adaptivity makes its computational expense challenging to predict. In this manuscript, we increase the ‘implicitness’ of the DEQ by redefining the method in terms of an infinite time neural ODE, which paradoxically decreases the training cost over a standard neural ODE by 2-4x. Additionally, we address the question: is there a way to simultaneously achieve the robustness of implicit layers while allowing the reduced computational expense of an explicit layer? To solve this, we develop Skip and Skip Reg. DEQ, an implicit-explicit (IMEX) layer that simultaneously trains an explicit prediction followed by an implicit correction. We show that training this explicit predictor is free and even decreases the training time by 1.11-3.19x. Together, this manuscript shows how bridging the dichotomy of implicit and explicit deep learning can combine the advantages of both techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL