High Dynamic Range Imaging with Context-aware Transformer

要約

タイトル: コンテキスト意識変換器を用いたハイダイナミックレンジイメージング

要約:

– LDRイメージをハイダイナミックレンジ（HDR）イメージに合成する際に、ghosts（あいまいな像）を導入しないようにすることは、困難な課題である。
– CNNは一般的にHDRのゴースト除去に効果的であるが、大きな動きや過度の過度/過少飽和がある場合、LDRイメージの処理は課題となる。
– 既存のCNNとTransformerを組み合わせたデュアルブランチの方法は、非参照画像から一部の情報を省略するため、欠点がある。また、CNNベースのブランチが抽出する特徴は、小さな受容野のカーネルサイズに拘束されており、ぼやけた領域や過度/過少飽和の回復に悪影響を与える。
– 本研究では、ゴーストフリーHDR画像の生成のために、新しい階層的デュアルトランスフォーマー方法を提案する（HDT-HDR）。この方法は、グローバルフィーチャーとローカルフィーチャーを同時に抽出する。
– 最初に、すべてのLDR画像から特徴を抽出するために、空間注意メカニズムを備えたCNNベースのヘッドを使用する。次に、LDR特徴は階層的デュアルトランスフォーマー（HDT）に送信される。各デュアルトランスフォーマー（DT）では、ウィンドウベースのトランスフォーマーによってグローバルフィーチャーが抽出され、変形CNNを使用したチャネル注意メカニズムによってローカルな詳細が抽出される。最後に、HDT出力の次元マッピングにより、ゴーストフリーHDR画像が得られる。
– 豊富な実験結果から、HDT-HDRが既存のHDR ghost除去法の中で最高の性能を発揮することが示された。

要約(オリジナル)

Avoiding the introduction of ghosts when synthesising LDR images as high dynamic range (HDR) images is a challenging task. Convolutional neural networks (CNNs) are effective for HDR ghost removal in general, but are challenging to deal with the LDR images if there are large movements or oversaturation/undersaturation. Existing dual-branch methods combining CNN and Transformer omit part of the information from non-reference images, while the features extracted by the CNN-based branch are bound to the kernel size with small receptive field, which are detrimental to the deblurring and the recovery of oversaturated/undersaturated regions. In this paper, we propose a novel hierarchical dual Transformer method for ghost-free HDR (HDT-HDR) images generation, which extracts global features and local features simultaneously. First, we use a CNN-based head with spatial attention mechanisms to extract features from all the LDR images. Second, the LDR features are delivered to the Hierarchical Dual Transformer (HDT). In each Dual Transformer (DT), the global features are extracted by the window-based Transformer, while the local details are extracted using the channel attention mechanism with deformable CNNs. Finally, the ghost free HDR image is obtained by dimensional mapping on the HDT output. Abundant experiments demonstrate that our HDT-HDR achieves the state-of-the-art performance among existing HDR ghost removal methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI