Hierarchical Optimization-Derived Learning

要約

近年、深層モデルの伝播を定式化するために最適化技術を利用することにより、多様な学習および視覚タスクに対処するために、いわゆる最適化導出学習 (ODL) アプローチが提案されています。
比較的満足のいく実用的なパフォーマンスが得られていますが、既存の ODL 手法には依然として根本的な問題が存在します。
特に、現在の ODL 手法は、モデルの構築と学習を 2 つの別個のフェーズとして考慮する傾向があり、そのため、それらの基礎となる結合および依存関係を定式化できません。
この研究では、まず階層 ODL (HODL) と呼ばれる新しいフレームワークを確立し、最適化由来のモデル構築の固有の動作とそれに対応する学習プロセスを同時に調査します。
次に、近似品質と定常解析の両方の観点から、これら 2 つのサブタスクの同時収束を厳密に証明します。
私たちの知る限り、これは最適化と学習という 2 つの結合された ODL コンポーネントに対する最初の理論的保証です。
さらに、既存の ODL 手法では適切に対処できなかった困難な学習タスクに HODL を適用することで、フレームワークの柔軟性を実証します。
最後に、視覚やその他の学習タスクにおける合成データと実際のアプリケーションの両方で広範な実験を実施し、さまざまなアプリケーション シナリオにおける HODL の理論的特性と実際のパフォーマンスを検証します。

要約(オリジナル)

In recent years, by utilizing optimization techniques to formulate the propagation of deep model, a variety of so-called Optimization-Derived Learning (ODL) approaches have been proposed to address diverse learning and vision tasks. Although having achieved relatively satisfying practical performance, there still exist fundamental issues in existing ODL methods. In particular, current ODL methods tend to consider model construction and learning as two separate phases, and thus fail to formulate their underlying coupling and depending relationship. In this work, we first establish a new framework, named Hierarchical ODL (HODL), to simultaneously investigate the intrinsic behaviors of optimization-derived model construction and its corresponding learning process. Then we rigorously prove the joint convergence of these two sub-tasks, from the perspectives of both approximation quality and stationary analysis. To our best knowledge, this is the first theoretical guarantee for these two coupled ODL components: optimization and learning. We further demonstrate the flexibility of our framework by applying HODL to challenging learning tasks, which have not been properly addressed by existing ODL methods. Finally, we conduct extensive experiments on both synthetic data and real applications in vision and other learning tasks to verify the theoretical properties and practical performance of HODL in various application scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google