Noise-free Optimization in Early Training Steps for Image Super-Resolution

要約

最近のディープラーニングベースの単一画像超解像度 (SISR) 手法は、優れたパフォーマンスを示していますが、一般的な手法は、特定の高解像度 (HR) 画像に関してピクセル単位の距離を最小限に抑えることによってネットワークをトレーニングします。
ただし、基本的なトレーニング スキームが主な選択肢であるにもかかわらず、不正設定逆問題のコンテキストでのその使用については十分に調査されていません。
この研究では、ターゲット HR 画像を 2 つのサブコンポーネントに分解することで、根底にある構成要素をより深く理解することを目指しています。(1) 複数の潜在的な HR 画像に対する期待値である最適な重心、および (2) として定義される固有のノイズ
HR 画像と重心の間の残差。
私たちの調査結果は、現在のトレーニング スキームでは SISR の不適切な性質を捉えることができず、特に初期のトレーニング ステップ中に固有のノイズ項に対して脆弱になることを示しています。
この問題に取り組むために、最適な重心を推定し、その推定に向けて直接最適化することにより、バニラトレーニングの初期段階で固有のノイズ項を効果的に除去できる新しい最適化方法を提案します。
実験結果は、提案された方法がバニラトレーニングの安定性を効果的に強化し、全体的なパフォーマンスの向上につながることを示しています。
コードは github.com/2minkylee/ECO で入手できます。

要約(オリジナル)

Recent deep-learning-based single image super-resolution (SISR) methods have shown impressive performance whereas typical methods train their networks by minimizing the pixel-wise distance with respect to a given high-resolution (HR) image. However, despite the basic training scheme being the predominant choice, its use in the context of ill-posed inverse problems has not been thoroughly investigated. In this work, we aim to provide a better comprehension of the underlying constituent by decomposing target HR images into two subcomponents: (1) the optimal centroid which is the expectation over multiple potential HR images, and (2) the inherent noise defined as the residual between the HR image and the centroid. Our findings show that the current training scheme cannot capture the ill-posed nature of SISR and becomes vulnerable to the inherent noise term, especially during early training steps. To tackle this issue, we propose a novel optimization method that can effectively remove the inherent noise term in the early steps of vanilla training by estimating the optimal centroid and directly optimizing toward the estimation. Experimental results show that the proposed method can effectively enhance the stability of vanilla training, leading to overall performance gain. Codes are available at github.com/2minkyulee/ECO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google