Towards a Sampling Theory for Implicit Neural Representations

要約

暗黙的ニューラル表現 (INR) は、コンピューター ビジョンやコンピューテーショナル イメージングにおける逆問題を解決するための強力なツールとして登場しました。
INR は、空間座標を入力として受け取るニューラル ネットワークによって実現される連続領域関数として画像を表します。
ただし、従来のピクセル表現とは異なり、線形逆問題のコンテキストで INR を使用して画像を推定するサンプルの複雑さについてはほとんど知られていません。
この目的に向けて、ReLU 活性化による単一の隠れ層 INR と一般化された形式の重み減衰正則化を使用したフーリエ特徴層をフィッティングすることにより、ローパス フーリエ係数から連続領域画像を復元するためのサンプリング要件を研究します。
私たちの重要な洞察は、この非凸パラメータ空間最適化問題の最小化子を、測定の無限次元空間にわたって定義された凸ペナルティの最小化子に関連付けることです。
INR トレーニング問題を解くことで幅 1 INR によって実現される画像が正確に復元できる十分な数のサンプルを特定し、一般的な幅 $W$ の場合についての推測を与えます。
私たちの理論を検証するために、低幅の単一隠れ層 INR によって実現される画像の正確な回復を達成する確率を経験的に評価し、より現実的な連続ドメイン ファントム画像の超解像回復における INR のパフォーマンスを示します。

要約(オリジナル)

Implicit neural representations (INRs) have emerged as a powerful tool for solving inverse problems in computer vision and computational imaging. INRs represent images as continuous domain functions realized by a neural network taking spatial coordinates as inputs. However, unlike traditional pixel representations, little is known about the sample complexity of estimating images using INRs in the context of linear inverse problems. Towards this end, we study the sampling requirements for recovery of a continuous domain image from its low-pass Fourier coefficients by fitting a single hidden-layer INR with ReLU activation and a Fourier features layer using a generalized form of weight decay regularization. Our key insight is to relate minimizers of this non-convex parameter space optimization problem to minimizers of a convex penalty defined over an infinite-dimensional space of measures. We identify a sufficient number of samples for which an image realized by a width-1 INR is exactly recoverable by solving the INR training problem, and give a conjecture for the general width-$W$ case. To validate our theory, we empirically assess the probability of achieving exact recovery of images realized by low-width single hidden-layer INRs, and illustrate the performance of INR on super-resolution recovery of more realistic continuous domain phantom images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google