Better ‘CMOS’ Produces Clearer Images: Learning Space-Variant Blur Estimation for Blind Image Super-Resolution

要約

タイトル：「Better ‘CMOS’ Produces Clearer Images: Learning Space-Variant Blur Estimation for Blind Image Super-Resolution」

要約：

– 既存の盲目的な画像スーパーリゾリューション（SR）手法の多くは、ぼやけのカーネルが空間不変であると仮定している。
– しかし、実際のアプリケーションで関係するぼやけは、オブジェクトの動きやピントのずれなどのために、通常空間変異であるため、高度なSR手法の性能が著しく低下する。
– この問題に対処するために、ぼけが含まれる2つの新しいデータセット、すなわちNYUv2-BSRとCityscapes-BSRを最初に紹介し、空間変異するぼやけによる盲目的なSRのさらなる研究を支援する。
– データセットに基づいて、我々は、ぼやけとセマンティックを同時に推定する新しいクロスモーダル融合ネットワーク（CMOS）を設計し、これにより改良されたSR結果が得られる。
– これには、2つのモダリティをより効果的に相互作用させ、不整合を回避するためのフィーチャーグループインタラクティブアテンション（GIA）モジュールが含まれる。
– GIAは、その構造の普遍性により、他の特徴の相互作用にも使用できる。
– 上記データセットと実世界の画像に対する定量的および定性的な実験による最先端の手法との比較により、我々の手法は優れていることが示され、例えばNYUv2-BSRでは、MANetよりPSNR/SSIMが+1.91/+0.0048向上する。

要約(オリジナル)

Most of the existing blind image Super-Resolution (SR) methods assume that the blur kernels are space-invariant. However, the blur involved in real applications are usually space-variant due to object motion, out-of-focus, etc., resulting in severe performance drop of the advanced SR methods. To address this problem, we firstly introduce two new datasets with out-of-focus blur, i.e., NYUv2-BSR and Cityscapes-BSR, to support further researches of blind SR with space-variant blur. Based on the datasets, we design a novel Cross-MOdal fuSion network (CMOS) that estimate both blur and semantics simultaneously, which leads to improved SR results. It involves a feature Grouping Interactive Attention (GIA) module to make the two modalities interact more effectively and avoid inconsistency. GIA can also be used for the interaction of other features because of the universality of its structure. Qualitative and quantitative experiments compared with state-of-the-art methods on above datasets and real-world images demonstrate the superiority of our method, e.g., obtaining PSNR/SSIM by +1.91/+0.0048 on NYUv2-BSR than MANet.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI