A Unified HDR Imaging Method with Pixel and Patch Level

要約

タイトル：ピクセルレベルとパッチレベルを統合したHDR画像処理手法

要約：

– 低ダイナミックレンジ（LDR）の異なる露出の画像をハイダイナミックレンジ（HDR）に変換することは、動きのあるシーンまたはカメラがぶれた場合にゴースト現象が起こるため非常に困難です。
– Deep Neural Networks（DNNs）の成功により、いくつかのDNNに基づく手法が提案されてきましたが、動きや飽和が発生するときに適切な結果を生成できないという問題があります。
– 様々な場合で視覚的に魅力的なHDR画像を生成するために、HyHDRNetと呼ばれるハイブリッドHDR処理ネットワークを提案しています。このネットワークは、参照画像と非参照画像の複雑な関係を学習することができます。
– HyHDRNetは、コンテンツアライメントサブネットワークとTransformerベースのフュージョンサブネットワークで構成されています。
– ソースからのゴーストを効果的に避けるために、コンテンツアライメントサブネットワークは、パッチレベルで他の非参照画像から類似したコンテンツを集積し、ピクセルレベルで望ましくないコンポーネントを抑制するためにゴーストアテンションを使用することができます。
– パッチレベルとピクセルレベルの相互ガイダンスを実現するために、ゲーティングモジュールを活用して、ゴースティングや飽和領域の有用な情報を十分にスワップすることができます。
– さらに、高品質なHDR画像を得るために、Transformerベースのフュージョンサブネットワークは、異なる露出領域の情報を自動的にマージするためにResidual Deformable Transformer Block（RDTB）を使用します。
– 提案手法を4つの公開HDR画像データセットで実験しました。実験の結果、HyHDRNetは、質的にも量的にも、統一的なテクスチャと色の魅力的なHDR視覚化を実現し、最先端の手法を上回りました。

要約(オリジナル)

Mapping Low Dynamic Range (LDR) images with different exposures to High Dynamic Range (HDR) remains nontrivial and challenging on dynamic scenes due to ghosting caused by object motion or camera jitting. With the success of Deep Neural Networks (DNNs), several DNNs-based methods have been proposed to alleviate ghosting, they cannot generate approving results when motion and saturation occur. To generate visually pleasing HDR images in various cases, we propose a hybrid HDR deghosting network, called HyHDRNet, to learn the complicated relationship between reference and non-reference images. The proposed HyHDRNet consists of a content alignment subnetwork and a Transformer-based fusion subnetwork. Specifically, to effectively avoid ghosting from the source, the content alignment subnetwork uses patch aggregation and ghost attention to integrate similar content from other non-reference images with patch level and suppress undesired components with pixel level. To achieve mutual guidance between patch-level and pixel-level, we leverage a gating module to sufficiently swap useful information both in ghosted and saturated regions. Furthermore, to obtain a high-quality HDR image, the Transformer-based fusion subnetwork uses a Residual Deformable Transformer Block (RDTB) to adaptively merge information for different exposed regions. We examined the proposed method on four widely used public HDR image deghosting datasets. Experiments demonstrate that HyHDRNet outperforms state-of-the-art methods both quantitatively and qualitatively, achieving appealing HDR visualization with unified textures and colors.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI