Beware of Aliases — Signal Preservation is Crucial for Robust Image Restoration

要約

画像復元ネットワークは通常、エンコーダとデコーダで構成され、それぞれノイズが多く歪んだデータから画像コンテンツを集約することと、きれいで歪みのない画像を復元することを担当します。
データ集約と高解像度画像生成はどちらも通常、エイリアスが関与するリスクを伴います。つまり、標準アーキテクチャでは、検証データで高い PSNR 値を達成するためにモデル入力を再構築する能力が危険にさらされます。
支払うべき代償は、低モデルの堅牢性です。
この研究では、最先端の再構成トランスにエイリアスのないパスを提供するだけで、復元パフォーマンスの低コストでモデルの堅牢性が向上することを示します。
これは、周波数領域で部分的にダウンサンプリングおよびアップサンプリング操作を実行し、関連するすべての高周波情報を潜在的に保持しながら、モデル全体に​​沿ったエイリアスのないパスを確保する、トランスフォーマーベースの画像復元モデルである BOA-Restormer を提案することでこれを実現します。

要約(オリジナル)

Image restoration networks are usually comprised of an encoder and a decoder, responsible for aggregating image content from noisy, distorted data and to restore clean, undistorted images, respectively. Data aggregation as well as high-resolution image generation both usually come at the risk of involving aliases, i.e.~standard architectures put their ability to reconstruct the model input in jeopardy to reach high PSNR values on validation data. The price to be paid is low model robustness. In this work, we show that simply providing alias-free paths in state-of-the-art reconstruction transformers supports improved model robustness at low costs on the restoration performance. We do so by proposing BOA-Restormer, a transformer-based image restoration model that executes downsampling and upsampling operations partly in the frequency domain to ensure alias-free paths along the entire model while potentially preserving all relevant high-frequency information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google