Ghost-free High Dynamic Range Imaging via Hybrid CNN-Transformer and Structure Tensor

要約

オブジェクトの移動によるゴースト アーティファクトの除去は、ハイ ダイナミック レンジ (HDR) イメージングにおける困難な問題です。
このレターでは、ゴーストのない HDR 画像を生成するために、畳み込みエンコーダーとトランスフォーマー デコーダーで構成されるハイブリッド モデルを紹介します。
エンコーダーでは、マルチスケール機能を最適化し、複数のロー ダイナミック レンジ (LDR) 画像のグローバルとローカルの両方の依存関係をキャプチャするために、コンテキスト アグリゲーション ネットワークと非ローカル アテンション ブロックが採用されています。
Swin Transformer に基づくデコーダを利用して、提案されたモデルの再構成能力を向上させます。
構造テンソル (ST) のフィールドの下でのアーティファクトの有無の驚異的な違いに動機付けられて、LDR 画像の ST 情報をネットワークの補助入力として統合し、ST 損失を使用してアーティファクトをさらに制限します。
以前のアプローチとは異なり、ネットワークは任意の数の入力 LDR 画像を処理できます。
質的および量的実験は、既存の最先端の HDR ゴースト除去モデルと比較することにより、提案された方法の有効性を示しています。
コードは https://github.com/pandayuanyu/HSTHdr で入手できます。

要約(オリジナル)

Eliminating ghosting artifacts due to moving objects is a challenging problem in high dynamic range (HDR) imaging. In this letter, we present a hybrid model consisting of a convolutional encoder and a Transformer decoder to generate ghost-free HDR images. In the encoder, a context aggregation network and non-local attention block are adopted to optimize multi-scale features and capture both global and local dependencies of multiple low dynamic range (LDR) images. The decoder based on Swin Transformer is utilized to improve the reconstruction capability of the proposed model. Motivated by the phenomenal difference between the presence and absence of artifacts under the field of structure tensor (ST), we integrate the ST information of LDR images as auxiliary inputs of the network and use ST loss to further constrain artifacts. Different from previous approaches, our network is capable of processing an arbitrary number of input LDR images. Qualitative and quantitative experiments demonstrate the effectiveness of the proposed method by comparing it with existing state-of-the-art HDR deghosting models. Codes are available at https://github.com/pandayuanyu/HSTHdr.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google