HDRTransDC: High Dynamic Range Image Reconstruction with Transformer Deformation Convolution

要約

ハイ ダイナミック レンジ (HDR) イメージングは​​、多重露出のロー ダイナミック レンジ (LDR) 画像を融合することで、リアルなディテールを備えたアーティファクトのない HDR 画像を生成することを目的としています。
入力 LDR 画像間の大きな動きと深刻な露出不足/露出過剰が原因で、HDR イメージングにはゴースト アーティファクトやフュージョン歪みが発生します。
これらの重要な問題に対処するために、高品質の HDR 画像を生成する HDR Transformer Deformation Convolution (HDRTransDC) ネットワークを提案します。このネットワークは、Transformer Deformable Convolution Alignment Module (TDCAM) と Dynamic Weight Fusion Block (DWFB) で構成されます。
ゴーストアーティファクトを解決するために、提案されたTDCAMは、非参照フィーチャ全体から参照フィーチャに類似した遠距離コンテンツを抽出します。これにより、位置ずれを正確に除去し、移動オブジェクトによって遮蔽されたコンテンツを埋めることができます。
融合歪みを除去する目的で、フレーム全体で有用な情報を空間適応的に選択し、多重露光された特徴を効果的に融合する DWFB を提案します。
広範な実験により、私たちの方法が定量的および定性的に最先端のパフォーマンスを達成することが示されました。

要約(オリジナル)

High Dynamic Range (HDR) imaging aims to generate an artifact-free HDR image with realistic details by fusing multi-exposure Low Dynamic Range (LDR) images. Caused by large motion and severe under-/over-exposure among input LDR images, HDR imaging suffers from ghosting artifacts and fusion distortions. To address these critical issues, we propose an HDR Transformer Deformation Convolution (HDRTransDC) network to generate high-quality HDR images, which consists of the Transformer Deformable Convolution Alignment Module (TDCAM) and the Dynamic Weight Fusion Block (DWFB). To solve the ghosting artifacts, the proposed TDCAM extracts long-distance content similar to the reference feature in the entire non-reference features, which can accurately remove misalignment and fill the content occluded by moving objects. For the purpose of eliminating fusion distortions, we propose DWFB to spatially adaptively select useful information across frames to effectively fuse multi-exposed features. Extensive experiments show that our method quantitatively and qualitatively achieves state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google