Early Stopping for Deep Image Prior

要約

ディープ イメージ プリア (DIP) とそのバリアントは、追加のトレーニング データを必要とせずに、コンピューター ビジョンの逆問題を解決できる顕著な可能性を示しています。
実際の DIP モデルは、多くの場合、大幅にパラメータ設定されすぎています。
フィッティング プロセス中、これらのモデルは最初に目的の視覚コンテンツの大部分を学習し、次に潜在的なモデリングと観測ノイズ、つまりオーバーフィッティングを検出します。
したがって、DIP の実用性は、多くの場合、移行期間を捉える適切な早期停止 (ES) に大きく依存します。
この点に関して、ビジョンタスクに機能する DIP の大部分は、モデルの可能性を実証するだけで、グランドトゥルースに対するピークパフォーマンスを報告しますが、グランドトゥルースにアクセスせずに運用上でピークに近いパフォーマンスを取得する方法については何の手がかりも提供しません。
この論文では、DIP のこの実用性の壁を打ち破り、いくつかの視覚タスクと DIP バリアントにわたってピークに近いパフォーマンスを一貫して検出する効率的な ES 戦略を提案します。
連続する DIP 再構成の分散の単純な尺度に基づいて、私たちの ES 手法は、非常に狭い領域でのみ機能する既存の手法を上回るだけでなく、過剰適合を軽減しようとする多くの手法と組み合わせた場合でも効果を維持します。
コードは https://github.com/sun-umn/Early_Stopping_for_DIP で入手できます。

要約(オリジナル)

Deep image prior (DIP) and its variants have showed remarkable potential for solving inverse problems in computer vision, without any extra training data. Practical DIP models are often substantially overparameterized. During the fitting process, these models learn mostly the desired visual content first, and then pick up the potential modeling and observational noise, i.e., overfitting. Thus, the practicality of DIP often depends critically on good early stopping (ES) that captures the transition period. In this regard, the majority of DIP works for vision tasks only demonstrates the potential of the models — reporting the peak performance against the ground truth, but provides no clue about how to operationally obtain near-peak performance without access to the groundtruth. In this paper, we set to break this practicality barrier of DIP, and propose an efficient ES strategy, which consistently detects near-peak performance across several vision tasks and DIP variants. Based on a simple measure of dispersion of consecutive DIP reconstructions, our ES method not only outpaces the existing ones — which only work in very narrow domains, but also remains effective when combined with a number of methods that try to mitigate the overfitting. The code is available at https://github.com/sun-umn/Early_Stopping_for_DIP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google