Neural Gradient Regularizer

要約

グラディエント マップに課せられた事前分布は、その大きな成功により、画像処理の分野で常に大きな関心を集めてきました。
最も代表的な正則化子の 1 つであるトータル バリエーション (TV) は、基礎となる勾配マップに先立って固有のスパース性をキャプチャできる機能で知られています。
それにもかかわらず、TV とその変種は勾配マップを過小評価することが多く、元の画像では勾配がゼロになるはずのないエッジや詳細が弱まってしまいます (つまり、画像構造は勾配マップのまばらな事前分布によっては記述できません)。
最近、特徴マップのスパース性を想定したトータル ディープ バリエーション (TDV) が導入されました。これは、特定のタスクに対して大規模なデータセットから学習された柔軟な正則化を提供します。
ただし、TDV では、イメージ/タスクのバリエーションを使用してネットワークを再トレーニングする必要があり、その汎用性が制限されます。
この問題を軽減するために、この論文では、勾配マップをニューラル ネットワークの出力として表現するニューラル勾配正則化器 (NGR) を提案します。
既存の方法とは異なり、NGR は画像勾配マップに関する主観的なスパース性やその他の事前の仮定に依存しないため、勾配マップの過小評価が回避されます。
NGR はさまざまな画像タイプやさまざまな画像処理タスクに適用でき、ゼロショット学習方式で機能するため、汎用性の高いプラグアンドプレイのレガライザーとなります。
広範な実験結果は、さまざまなタスクにおいて最先端の対応物よりも NGR が優れたパフォーマンスを発揮することを実証し、その有効性と多用途性をさらに検証しています。

要約(オリジナル)

Owing to its significant success, the prior imposed on gradient maps has consistently been a subject of great interest in the field of image processing. Total variation (TV), one of the most representative regularizers, is known for its ability to capture the intrinsic sparsity prior underlying gradient maps. Nonetheless, TV and its variants often underestimate the gradient maps, leading to the weakening of edges and details whose gradients should not be zero in the original image (i.e., image structures is not describable by sparse priors of gradient maps). Recently, total deep variation (TDV) has been introduced, assuming the sparsity of feature maps, which provides a flexible regularization learned from large-scale datasets for a specific task. However, TDV requires to retrain the network with image/task variations, limiting its versatility. To alleviate this issue, in this paper, we propose a neural gradient regularizer (NGR) that expresses the gradient map as the output of a neural network. Unlike existing methods, NGR does not rely on any subjective sparsity or other prior assumptions on image gradient maps, thereby avoiding the underestimation of gradient maps. NGR is applicable to various image types and different image processing tasks, functioning in a zero-shot learning fashion, making it a versatile and plug-and-play regularizer. Extensive experimental results demonstrate the superior performance of NGR over state-of-the-art counterparts for a range of different tasks, further validating its effectiveness and versatility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google