Dynamic Implicit Image Function for Efficient Arbitrary-Scale Image Representation

要約

近年、暗黙的ニューラル表現手法が目覚ましい成功を収めています。
最近の研究である Local Implicit Image Function (LIIF) は、連続空間領域内のニューラル ネットワークからピクセル値が推論される、連続画像表現で満足のいくパフォーマンスを達成しました。
ただし、このような暗黙的な任意スケール超解像 (SR) 法の計算コストは​​、スケール係数が増加するにつれて急速に増加するため、任意スケール SR は時間がかかります。
この論文では、任意の解像度で画像を表現するための高速かつ効率的な方法である Dynamic Implicit Image Function (DIIF) を提案します。
画像座標と最も近い 2D ディープ フィーチャを入力として取得してピクセル値を予測する代わりに、座標グループ化とスライス戦略を提案します。これにより、ニューラル ネットワークが座標スライスからピクセル値スライスへのデコードを実行できるようになります。
さらに、動的座標スライスを使用してデコードを実行するための Coarse-to-Fine Multilayer Perceptron (C2F-MLP) を提案します。スケール ファクターの変化に応じて、各スライス内の座標の数も変化します。
DIIF は、動的座標スライスを使用して、任意スケールの SR に遭遇した場合の計算コストを大幅に削減します。
実験結果は、DIIF が陰的任意スケール SR 法と統合でき、大幅に優れた計算効率で SOTA SR パフォーマンスを達成できることを示しており、それによってリアルタイムの任意スケール画像表現への道が開かれます。
私たちのコードは https://github.com/HeZongyao/DIIF にあります。

要約(オリジナル)

Recent years have witnessed the remarkable success of implicit neural representation methods. The recent work Local Implicit Image Function (LIIF) has achieved satisfactory performance for continuous image representation, where pixel values are inferred from a neural network in a continuous spatial domain. However, the computational cost of such implicit arbitrary-scale super-resolution (SR) methods increases rapidly as the scale factor increases, which makes arbitrary-scale SR time-consuming. In this paper, we propose Dynamic Implicit Image Function (DIIF), which is a fast and efficient method to represent images with arbitrary resolution. Instead of taking an image coordinate and the nearest 2D deep features as inputs to predict its pixel value, we propose a coordinate grouping and slicing strategy, which enables the neural network to perform decoding from coordinate slices to pixel value slices. We further propose a Coarse-to-Fine Multilayer Perceptron (C2F-MLP) to perform decoding with dynamic coordinate slicing, where the number of coordinates in each slice varies as the scale factor varies. With dynamic coordinate slicing, DIIF significantly reduces the computational cost when encountering arbitrary-scale SR. Experimental results demonstrate that DIIF can be integrated with implicit arbitrary-scale SR methods and achieves SOTA SR performance with significantly superior computational efficiency, thereby opening a path for real-time arbitrary-scale image representation. Our code can be found at https://github.com/HeZongyao/DIIF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google