AutoLUT: LUT-Based Image Super-Resolution with Automatic Sampling and Adaptive Residual Learning

要約

近年、HI-DPI画面の人気の高まりにより、高解像度の画像に対する需要が高まっています。
ただし、EDGEデバイスの限られた計算能力は、複雑な超解像度ニューラルネットワークを展開する際に課題をもたらし、効率的な方法の必要性を強調しています。
以前の作品は大きな進歩を遂げていますが、ピクセルレベルの情報を完全に活用していません。
さらに、固定サンプリングパターンへの依存により、精度と低解像度画像で詳細をキャプチャする機能の両方が制限されます。
これらの課題に対処するために、ルックアップテーブル（LUT）ベースのスーパー解像度ネットワークでピクセル情報を効果的にキャプチャして活用するように設計された2つのプラグアンドプレイモジュールを導入します。
私たちの方法では、自動サンプリング（AutoSample）を紹介します。これは、ピクセルのバリエーションに適応し、推論コストを追加せずに受容フィールドを拡張するためにトレーニング中にサンプリングの重みが自動的に学習される柔軟なLUTサンプリングアプローチです。
また、適応型残留学習（ADARL）を組み込み、層間接続を強化し、詳細な情報の流れを可能にし、詳細を再構築するネットワークの能力を向上させます。
私たちの方法は、同様のストレージサイズを維持しながら、MulutとSPF-LUTの両方で大幅なパフォーマンスの改善を実現します。
具体的には、Mulutの場合、5つのデータセットで平均して約+0.20 dB改善のPSNR改善を達成します。
SPF-LUTの場合、ストレージスペースが50％以上減少し、推論時間が約2/3の短縮されているため、この方法はオリジナルに匹敵するパフォーマンスを維持しています。
このコードは、https：//github.com/superkenvery/autolutで入手できます。

要約(オリジナル)

In recent years, the increasing popularity of Hi-DPI screens has driven a rising demand for high-resolution images. However, the limited computational power of edge devices poses a challenge in deploying complex super-resolution neural networks, highlighting the need for efficient methods. While prior works have made significant progress, they have not fully exploited pixel-level information. Moreover, their reliance on fixed sampling patterns limits both accuracy and the ability to capture fine details in low-resolution images. To address these challenges, we introduce two plug-and-play modules designed to capture and leverage pixel information effectively in Look-Up Table (LUT) based super-resolution networks. Our method introduces Automatic Sampling (AutoSample), a flexible LUT sampling approach where sampling weights are automatically learned during training to adapt to pixel variations and expand the receptive field without added inference cost. We also incorporate Adaptive Residual Learning (AdaRL) to enhance inter-layer connections, enabling detailed information flow and improving the network’s ability to reconstruct fine details. Our method achieves significant performance improvements on both MuLUT and SPF-LUT while maintaining similar storage sizes. Specifically, for MuLUT, we achieve a PSNR improvement of approximately +0.20 dB improvement on average across five datasets. For SPF-LUT, with more than a 50% reduction in storage space and about a 2/3 reduction in inference time, our method still maintains performance comparable to the original. The code is available at https://github.com/SuperKenVery/AutoLUT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google