High Dynamic Range Imaging with Context-aware Transformer

要約

タイトル: コンテキストに基づくトランスフォーマーを用いたハイダイナミックレンジイメージング

要約:
– 低ダイナミックレンジ（LDR）イメージを高ダイナミックレンジ（HDR）イメージに合成する際に、幽霊像の導入を避けることは困難である。
– CNNは、HDR幽霊除去に効果的であるが、大きな動きや過飽和・低飽和がある場合にLDRイメージの処理には挑戦的である。
– 既存のCNNとトランスフォーマーを組み合わせた二重枝法では、関連のない画像から一部の情報が省かれている。また、CNNベースのブランチで抽出された特徴は、小さな受容野を持つカーネルサイズに縛られており、ぼやけや過飽和・低飽和領域の回復に悪影響を与える。
– 本論文では、世界初の階層的な二重トランスフォーマー法を提案しており、グローバルな特徴とローカルな特徴を同時に抽出している。最初に、全てのLDRイメージから特徴を抽出するCNNベースのヘッドを使用する。次に、LDR特徴は階層的二重トランスフォーマー（HDT）に渡される。各二重トランスフォーマー（DT）では、ウィンドウベースのトランスフォーマーによってグローバル特徴が抽出され、可変CNNによるチャネル注意機構を使用してローカルな詳細が抽出される。最後に、HDT出力に次元マッピングを行い、幽霊像のないHDR画像が得られる。
– 豊富な実験が、HDT-HDRが既存のHDR幽霊除去法の中で最高の性能を発揮していることを示している。

要約(オリジナル)

Avoiding the introduction of ghosts when synthesising LDR images as high dynamic range (HDR) images is a challenging task. Convolutional neural networks (CNNs) are effective for HDR ghost removal in general, but are challenging to deal with the LDR images if there are large movements or oversaturation/undersaturation. Existing dual-branch methods combining CNN and Transformer omit part of the information from non-reference images, while the features extracted by the CNN-based branch are bound to the kernel size with small receptive field, which are detrimental to the deblurring and the recovery of oversaturated/undersaturated regions. In this paper, we propose a novel hierarchical dual Transformer method for ghost-free HDR (HDT-HDR) images generation, which extracts global features and local features simultaneously. First, we use a CNN-based head with spatial attention mechanisms to extract features from all the LDR images. Second, the LDR features are delivered to the Hierarchical Dual Transformer (HDT). In each Dual Transformer (DT), the global features are extracted by the window-based Transformer, while the local details are extracted using the channel attention mechanism with deformable CNNs. Finally, the ghost free HDR image is obtained by dimensional mapping on the HDT output. Abundant experiments demonstrate that our HDT-HDR achieves the state-of-the-art performance among existing HDR ghost removal methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI