Gated Multi-Resolution Transfer Network for Burst Restoration and Enhancement

要約

タイトル: バーストリストアとエンハンスメントのためのゲート付きマルチリゾリューショントランスファーネットワーク

要約:
– バースト画像処理は、近年ますます人気が高まっています。
– しかし、個々のバースト画像は、複数の劣化を受け、しばしば相互にズレがあるために、ゴーストやジッパーアーティファクトを引き起こすことがあり、難しい課題である。
– 既存のバーストリストア方法では、バーストフレーム間の相互相関や非局所的な文脈情報を考慮しないため、これらのアプローチは課題の複雑な場合に制限される傾向がある。
– 別の重要な課題は、バーストフレームのロバストアップサンプリングです。
– 既存のアップサンプリング方法では、従来のまたは最近のアップサンプラーと同時に、単一段階と進行的なアップサンプリング戦略の利点を効果的に活用することができない。
– これらの課題に対処するために、我々は、低品質の生の画像のバーストから空間的に正確な高品質の画像を再構成するための新しいゲート付きマルチリゾリューショントランスファーネットワーク(GMTNet)を提案している。
– GMTNetは、バースト処理のために最適化された3つのモジュールから構成されており、フィーチャーノイズリダクションとアライメントのためのマルチスケールバーストフィーチャーアライメント(MBFA)、マルチフレームフィーチャー集約のための転置アテンションフィーチャーマージング(TAFM)、およびマージドフィーチャーをアップスケーリングして高品質の出力画像を構築するための解像度トランスファーフィーチャーユプアンサンプラ(RTFU)が含まれています。
– 5つのデータセットでの詳細な実験分析によって、我々のアプローチがバースト超解像度、バーストノイズ除去、および低照度バーストエンハンスメントにおいて状態最高となり、有効性が確認されました。

要約(オリジナル)

Burst image processing is becoming increasingly popular in recent years. However, it is a challenging task since individual burst images undergo multiple degradations and often have mutual misalignments resulting in ghosting and zipper artifacts. Existing burst restoration methods usually do not consider the mutual correlation and non-local contextual information among burst frames, which tends to limit these approaches in challenging cases. Another key challenge lies in the robust up-sampling of burst frames. The existing up-sampling methods cannot effectively utilize the advantages of single-stage and progressive up-sampling strategies with conventional and/or recent up-samplers at the same time. To address these challenges, we propose a novel Gated Multi-Resolution Transfer Network (GMTNet) to reconstruct a spatially precise high-quality image from a burst of low-quality raw images. GMTNet consists of three modules optimized for burst processing tasks: Multi-scale Burst Feature Alignment (MBFA) for feature denoising and alignment, Transposed-Attention Feature Merging (TAFM) for multi-frame feature aggregation, and Resolution Transfer Feature Up-sampler (RTFU) to up-scale merged features and construct a high-quality output image. Detailed experimental analysis on five datasets validates our approach and sets a state-of-the-art for burst super-resolution, burst denoising, and low-light burst enhancement.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI