Learning Variational Models with Unrolling and Bilevel Optimization

要約

この論文では、リスク最小化による教師あり学習のコンテキストで変分モデルの学習の問題を検討します。
私たちの目標は、バイレベル最適化とアルゴリズム展開による変分モデルの学習の 2 つのアプローチをより深く理解することです。
前者は変分モデルをリスク最小化問題の下位レベルの最適化問題とみなしますが、後者は下位レベルの最適化問題を前記問題を近似的に解くアルゴリズムに置き換えます。
どちらのアプローチも実際に使用されていますが、計算の観点からはアンロールの方がはるかに簡単です。
2 つのアプローチを分析および比較するために、単純なおもちゃモデルを検討し、すべてのリスクとそれぞれの推定量を明示的に計算します。
アンローリングは 2 レベル最適化アプローチよりも優れている可能性があることを示しますが、アンローリングのパフォーマンスは、場合によっては予期せぬ方法で、さらなるパラメーターに大きく依存する可能性があることも示します。一方、アンローリング アルゴリズムのステップサイズは非常に重要です (そして、ステップサイズを学習すると、重要な効果が得られます)。
改善)、展開された反復の数は小さな役割を果たします。

要約(オリジナル)

In this paper we consider the problem of learning variational models in the context of supervised learning via risk minimization. Our goal is to provide a deeper understanding of the two approaches of learning of variational models via bilevel optimization and via algorithm unrolling. The former considers the variational model as a lower level optimization problem below the risk minimization problem, while the latter replaces the lower level optimization problem by an algorithm that solves said problem approximately. Both approaches are used in practice, but unrolling is much simpler from a computational point of view. To analyze and compare the two approaches, we consider a simple toy model, and compute all risks and the respective estimators explicitly. We show that unrolling can be better than the bilevel optimization approach, but also that the performance of unrolling can depend significantly on further parameters, sometimes in unexpected ways: While the stepsize of the unrolled algorithm matters a lot (and learning the stepsize gives a significant improvement), the number of unrolled iterations plays a minor role.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google