CUF: Continuous Upsampling Filters

要約

ニューラル フィールドは、3D 信号を表現するために急速に採用されていますが、より古典的な 2D 画像処理への適用は比較的限られています。
このホワイト ペーパーでは、画像処理で最も重要な操作の 1 つであるアップサンプリングについて説明します。
深層学習では、学習可能なアップサンプリング層が単一画像の超解像に広く使用されてきました。
アップサンプリング カーネルをニューラル フィールドとしてパラメーター化することを提案します。
このパラメータ化により、競合する任意スケールの超解像アーキテクチャと比較して、パラメータ数が 40 分の 1 に減少するコンパクトなアーキテクチャが実現します。
サイズ 256×256 の画像をアップサンプリングすると、競合する任意スケールの超解像度アーキテクチャよりも 2 倍から 10 倍効率的であり、シングル スケール モデルにインスタンス化された場合のサブピクセル畳み込みよりも効率的であることを示します。
一般的な設定では、これらのゲインはターゲット スケールの 2 乗で多項式に増加します。
超解像性能を犠牲にすることなく、このような効率の向上を達成できることを示す標準的なベンチマークでこの方法を検証します。

要約(オリジナル)

Neural fields have rapidly been adopted for representing 3D signals, but their application to more classical 2D image-processing has been relatively limited. In this paper, we consider one of the most important operations in image processing: upsampling. In deep learning, learnable upsampling layers have extensively been used for single image super-resolution. We propose to parameterize upsampling kernels as neural fields. This parameterization leads to a compact architecture that obtains a 40-fold reduction in the number of parameters when compared with competing arbitrary-scale super-resolution architectures. When upsampling images of size 256×256 we show that our architecture is 2x-10x more efficient than competing arbitrary-scale super-resolution architectures, and more efficient than sub-pixel convolutions when instantiated to a single-scale model. In the general setting, these gains grow polynomially with the square of the target scale. We validate our method on standard benchmarks showing such efficiency gains can be achieved without sacrifices in super-resolution performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google