How do Minimum-Norm Shallow Denoisers Look in Function Space?

要約

ニューラル ネットワーク (NN) デノイザーは、画像再構成から画像生成に至るまで、多くの一般的なタスクにおいて不可欠な構成要素です。
ただし、これらのモデルの成功は理論的な観点からはよく理解されていません。
この論文では、最小の表現コスト (つまり、最小の $\ell^2$ ノルム重み) で補間の一般的な理論設定 (つまり、トレーニング損失ゼロ) で、浅い ReLU NN デノイザーによって実現される関数を特徴付けることを目的としています。
。
まず、単変量データの場合、NN デノイザー関数の閉形式を導出し、それがクリーンなデータ ポイントに向かって収縮的であることを確認し、低ノイズ レベルで経験的な MMSE 推定器よりも一般化できることを証明します。
次に、多変量データの場合、トレーニング データに関するさまざまな幾何学的仮定の下で、閉じた形式の NN デノイザー関数を見つけます。低次元の部分空間に含まれるデータ、片側光線の和集合に含まれるデータ、またはいくつかのタイプのシンプレックスです。
。
これらの関数は、トレーニング サンプルを接続するエッジおよび/または面に位置合わせされた単純なランク 1 の区分的線形補間の合計に分解されます。
この整列現象を合成データと実画像で実証的に検証します。

要約(オリジナル)

Neural network (NN) denoisers are an essential building block in many common tasks, ranging from image reconstruction to image generation. However, the success of these models is not well understood from a theoretical perspective. In this paper, we aim to characterize the functions realized by shallow ReLU NN denoisers — in the common theoretical setting of interpolation (i.e., zero training loss) with a minimal representation cost (i.e., minimal $\ell^2$ norm weights). First, for univariate data, we derive a closed form for the NN denoiser function, find it is contractive toward the clean data points, and prove it generalizes better than the empirical MMSE estimator at a low noise level. Next, for multivariate data, we find the NN denoiser functions in a closed form under various geometric assumptions on the training data: data contained in a low-dimensional subspace, data contained in a union of one-sided rays, or several types of simplexes. These functions decompose into a sum of simple rank-one piecewise linear interpolations aligned with edges and/or faces connecting training samples. We empirically verify this alignment phenomenon on synthetic data and real images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google