GaussianSR: High Fidelity 2D Gaussian Splatting for Arbitrary-Scale Image Super-Resolution

要約

暗黙的ニューラル表現 (INR) は、画像の任意スケール超解像度 (ASSR) の分野を大幅に進歩させました。
既存の INR ベースの ASSR ネットワークのほとんどは、まずエンコーダーを使用して特定の低解像度画像から特徴を抽出し、次に多層パーセプトロン デコーダーを介して超解像度の結果をレンダリングします。
これらのアプローチは有望な結果を示していますが、そのパフォーマンスは、エンコードされた特徴における離散潜在コードの限られた表現能力によって制限されます。
この論文では、2D ガウス スプラッティング (2DGS) を通じてこの制限を克服する、GaussianSR と呼ばれる新しい ASSR 手法を提案します。
ピクセルを離散点として扱う従来の方法とは異なり、GaussianSR は各ピクセルを連続ガウス フィールドとして表します。
エンコードされた特徴は、相互に積み重ねられたガウス フィールドをレンダリングすることによって同時に洗練され、アップサンプリングされます。
その結果、長距離の依存関係が確立され、表現能力が向上します。
さらに、ガウス カーネルをすべてのピクセルに動的に割り当てる分類器が開発され、柔軟性がさらに向上します。
GaussianSR のすべてのコンポーネント (エンコーダー、分類子、ガウス カーネル、デコーダー) はエンドツーエンドで共同学習されます。
実験では、GaussianSR が、解釈可能でコンテンツを認識した機能集約を享受しながら、既存の方法よりも少ないパラメーターで優れた ASSR パフォーマンスを達成できることが実証されています。

要約(オリジナル)

Implicit neural representations (INRs) have significantly advanced the field of arbitrary-scale super-resolution (ASSR) of images. Most existing INR-based ASSR networks first extract features from the given low-resolution image using an encoder, and then render the super-resolved result via a multi-layer perceptron decoder. Although these approaches have shown promising results, their performance is constrained by the limited representation ability of discrete latent codes in the encoded features. In this paper, we propose a novel ASSR method named GaussianSR that overcomes this limitation through 2D Gaussian Splatting (2DGS). Unlike traditional methods that treat pixels as discrete points, GaussianSR represents each pixel as a continuous Gaussian field. The encoded features are simultaneously refined and upsampled by rendering the mutually stacked Gaussian fields. As a result, long-range dependencies are established to enhance representation ability. In addition, a classifier is developed to dynamically assign Gaussian kernels to all pixels to further improve flexibility. All components of GaussianSR (i.e., encoder, classifier, Gaussian kernels, and decoder) are jointly learned end-to-end. Experiments demonstrate that GaussianSR achieves superior ASSR performance with fewer parameters than existing methods while enjoying interpretable and content-aware feature aggregations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google