Ghost-free High Dynamic Range Imaging with Context-aware Transformer

要約

ハイダイナミックレンジ（HDR）デゴーストアルゴリズムは、リアルなディテールを持つゴーストのないHDR画像を生成することを目的としている。既存のCNNベースの手法は、受容野の局所性に制限されるため、一般的に大きな動きや激しい彩度の存在下でゴーストアーチファクトや強度歪みを生成しやすいという欠点がある。本論文では、ゴーストのないハイダイナミックレンジイメージングのための新しいコンテキストアウェアビジョントランスフォーマー（CA-ViT）を提案する。CA-ViTは、グローバル依存性とローカル依存性を同時に捉えることができるデュアルブランチアーキテクチャとして設計されている。具体的には、グローバルブランチでは、ウィンドウベースのTransformerエンコーダを採用し、長距離の物体移動と強度変化をモデル化してゴーストを解決します。ローカルブランチでは、短距離の画像特徴を捉えるためにローカルコンテキスト抽出器（LCE）を設計し、チャネルアテンションメカニズムを用いて、抽出された特徴全体の中から有益なローカルディテールを選択し、グローバルブランチを補完します。さらに、CA-ViTを基本コンポーネントとして組み込むことで、ゴーストのない高品質なHDR画像を再構成するための階層型ネットワークであるHDR-Transformerを構築する。3つのベンチマークデータセットを用いた広範な実験により、我々のアプローチは、大幅に削減された計算予算で、定性的にも定量的にも最先端手法を上回ることが示された。コードは https://github.com/megvii-research/HDR-Transformer で公開されています。

要約(オリジナル)

High dynamic range (HDR) deghosting algorithms aim to generate ghost-free HDR images with realistic details. Restricted by the locality of the receptive field, existing CNN-based methods are typically prone to producing ghosting artifacts and intensity distortions in the presence of large motion and severe saturation. In this paper, we propose a novel Context-Aware Vision Transformer (CA-ViT) for ghost-free high dynamic range imaging. The CA-ViT is designed as a dual-branch architecture, which can jointly capture both global and local dependencies. Specifically, the global branch employs a window-based Transformer encoder to model long-range object movements and intensity variations to solve ghosting. For the local branch, we design a local context extractor (LCE) to capture short-range image features and use the channel attention mechanism to select informative local details across the extracted features to complement the global branch. By incorporating the CA-ViT as basic components, we further build the HDR-Transformer, a hierarchical network to reconstruct high-quality ghost-free HDR images. Extensive experiments on three benchmark datasets show that our approach outperforms state-of-the-art methods qualitatively and quantitatively with considerably reduced computational budgets. Codes are available at https://github.com/megvii-research/HDR-Transformer

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL