Sampling Theory for Super-Resolution with Implicit Neural Representations

要約

暗黙の神経表現（INR）は、コンピュータービジョンと計算イメージングにおける逆問題を解決するための強力なツールとして浮上しています。
INRは、空間座標を入力として取るニューラルネットワークによって実現される連続ドメイン関数として画像を表します。
ただし、従来のピクセル表現とは異なり、線形逆問題のコンテキストでINRを使用して画像を推定するサンプルの複雑さについてはほとんど知られていません。
この目的に向けて、単一の隠れレイヤーINRをRelu Activationとフーリエ機能の重量減衰の正規化を使用してフーリエ機能層に適合させることにより、低パスフーリエサンプルから連続ドメイン画像の回復のためのサンプリング要件を研究します。
私たちの重要な洞察は、この非凸パラメーター空間最適化問題の最小化を、無限の次元の測定空間で定義された凸ペナルティの最小化器に関連付けることです。
INRトレーニングの問題を解決することにより、INRによって実現された画像が正確に回復可能である十分な数のフーリエサンプルを特定します。
私たちの理論を検証するために、低幅の単一の隠れ層INRによって実現された画像の正確な回復を達成する確率を経験的に評価し、連続ドメインファントム画像の超解像度回復に関するINRのパフォーマンスを示します。

要約(オリジナル)

Implicit neural representations (INRs) have emerged as a powerful tool for solving inverse problems in computer vision and computational imaging. INRs represent images as continuous domain functions realized by a neural network taking spatial coordinates as inputs. However, unlike traditional pixel representations, little is known about the sample complexity of estimating images using INRs in the context of linear inverse problems. Towards this end, we study the sampling requirements for recovery of a continuous domain image from its low-pass Fourier samples by fitting a single hidden-layer INR with ReLU activation and a Fourier features layer using a generalized form of weight decay regularization. Our key insight is to relate minimizers of this non-convex parameter space optimization problem to minimizers of a convex penalty defined over an infinite-dimensional space of measures. We identify a sufficient number of Fourier samples for which an image realized by an INR is exactly recoverable by solving the INR training problem. To validate our theory, we empirically assess the probability of achieving exact recovery of images realized by low-width single hidden-layer INRs, and illustrate the performance of INRs on super-resolution recovery of continuous domain phantom images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google