Two Sides of The Same Coin: Bridging Deep Equilibrium Models and Neural ODEs via Homotopy Continuation

要約

深層平衡モデル (DEQ) とニューラル常微分方程式 (ニューラル ODE) は、優れたパフォーマンスと低いメモリ消費量により目覚ましい成功を収めた陰的モデルの 2 つの分野です。
どちらも陰的モデルですが、DEQ とニューラル ODE は異なる数学的定式化から導出されます。
ホモトピー継続からインスピレーションを得て、これら 2 つのモデル間の関係を確立し、これらが実際には同じコインの表裏であることを示します。
ホモトピー継続は、対応する ODE に基づいて非線形方程式を解く古典的な方法です。
この関係を考慮して、DEQ の高精度の特性と Neural ODE の安定性の特性を継承する HomoODE と呼ばれる新しい陰的モデルを提案しました。
順方向パスでニュートン法を介して平衡点探索問題を明示的に解く DEQ とは異なり、HomoODE はホモトピー継続による修正ニューラル ODE を使用して暗黙的に平衡点探索問題を解きます。
さらに、学習可能な初期点を共有した HomoODE の加速手法を開発しました。
私たちのモデルは、拡張部分が見つけるべき平衡点とみなされる限り、拡張ニューラル ODE が機能する理由をよりよく理解するのにも役立つことは注目に値します。
いくつかの画像分類タスクを使用した包括的な実験により、HomoODE が精度とメモリ消費量の両方の点で既存の陰的モデルを上回ることが実証されました。

要約(オリジナル)

Deep Equilibrium Models (DEQs) and Neural Ordinary Differential Equations (Neural ODEs) are two branches of implicit models that have achieved remarkable success owing to their superior performance and low memory consumption. While both are implicit models, DEQs and Neural ODEs are derived from different mathematical formulations. Inspired by homotopy continuation, we establish a connection between these two models and illustrate that they are actually two sides of the same coin. Homotopy continuation is a classical method of solving nonlinear equations based on a corresponding ODE. Given this connection, we proposed a new implicit model called HomoODE that inherits the property of high accuracy from DEQs and the property of stability from Neural ODEs. Unlike DEQs, which explicitly solve an equilibrium-point-finding problem via Newton’s methods in the forward pass, HomoODE solves the equilibrium-point-finding problem implicitly using a modified Neural ODE via homotopy continuation. Further, we developed an acceleration method for HomoODE with a shared learnable initial point. It is worth noting that our model also provides a better understanding of why Augmented Neural ODEs work as long as the augmented part is regarded as the equilibrium point to find. Comprehensive experiments with several image classification tasks demonstrate that HomoODE surpasses existing implicit models in terms of both accuracy and memory consumption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google