Exploring the Low-Pass Filtering Behavior in Image Super-Resolution

要約

画像超解像度のためのディープ ニューラル ネットワークは、補間などの従来のアプローチに比べて大きな利点を示しています。
しかし、それらは、確固たる数学的基盤を持つ従来のアプローチと比較して「ブラックボックス」として批判されることがよくあります。
この論文では、信号処理理論の理論を使用してディープ ニューラル ネットワークの動作を解釈することを試みます。
我々は最初に、インパルス入力がニューラル ネットワークに供給されたときに発生する、「sinc 現象」と呼ばれる興味深い現象を報告します。
この観察に基づいて、画像超解像度タスクにおけるニューラル ネットワークの動作を分析するための Hybird Response Analysis (HyRA) と呼ばれる方法を提案します。
詳細には、HyRA はニューラル ネットワークを線形システムと非線形システムの並列接続に分解し、線形システムがローパス フィルターとして機能し、非線形システムが高周波情報を注入することを実証します。
さらに、注入された高周波情報を定量化するために、周波数スペクトル分布類似性 (FSDS) と呼ばれる画像間のタスクのメトリックを導入します。
FSDS は、さまざまな周波数成分の分布の類似性を反映し、従来の指標では見落としがちなニュアンスを捉えます。
この作業のコードは、https://github.com/RisingEntropy/LPFInISR で見つけることができます。

要約(オリジナル)

Deep neural networks for image super-resolution have shown significant advantages over traditional approaches like interpolation. However, they are often criticized as `black boxes’ compared to traditional approaches which have solid mathematical foundations. In this paper, we attempt to interpret the behavior of deep neural networks using theories from signal processing theories. We first report an intriguing phenomenon, referred to as `the sinc phenomenon,’ which occurs when an impulse input is fed to a neural network. Building on this observation, we propose a method named Hybird Response Analysis (HyRA) to analyze the behavior of neural networks in image super-resolution tasks. In details, HyRA decomposes a neural network into a parallel connection of a linear system and a non-linear system, demonstrating that the linear system functions as a low-pass filter, while the non-linear system injects high-frequency information. Furthermore, to quantify the injected high-frequency information, we introduce a metric for image-to-image tasks called Frequency Spectrum Distribution Similarity (FSDS). FSDS reflects the distribution similarity of different frequency components, capturing nuances that traditional metrics may overlook. Code for this work can be found in: https://github.com/RisingEntropy/LPFInISR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google