Alignment-free HDR Deghosting with Semantics Consistent Transformer

要約

ハイ ダイナミック レンジ (HDR) イメージングは​​、複数の低ダイナミック レンジ入力から情報を取得してリアルな出力を生成することを目的としています。
本質は、より良い画像を生成するために、動的セマンティクスと静的セマンティクスの両方を含むコンテキスト情報を活用することです。
既存の方法では、前景やカメラの動きによって生じる入力フレーム間の空間的なずれに焦点を当てることがよくあります。
しかし、動的コンテキストと静的コンテキストを同時に共同利用することに関する研究はありません。
この問題を掘り下げるために、ネットワーク内に空間アテンション モジュールとチャネル アテンション モジュールの両方を備えた Semantics Consistent Transformer (SCTNet) を備えた新しいアラインメント フリー ネットワークを提案します。
空間的注意は、動的な動きをモデル化するために画像内の相関を処理することを目的としていますが、チャネル アテンションは、画像間の絡み合いを可能にして、フレーム間の意味論的な一貫性を強化します。
これとは別に、前景オブジェクト、環境要因、およびより大きな動きのバリエーションを増やした、新しい現実的な HDR データセットを導入します。
従来のデータセットと私たちのデータセットの両方を広範に比較することで、私たちの方法の有効性が検証され、パフォーマンスと計算コストの最適なトレードオフが達成されます。

要約(オリジナル)

High dynamic range (HDR) imaging aims to retrieve information from multiple low-dynamic range inputs to generate realistic output. The essence is to leverage the contextual information, including both dynamic and static semantics, for better image generation. Existing methods often focus on the spatial misalignment across input frames caused by the foreground and/or camera motion. However, there is no research on jointly leveraging the dynamic and static context in a simultaneous manner. To delve into this problem, we propose a novel alignment-free network with a Semantics Consistent Transformer (SCTNet) with both spatial and channel attention modules in the network. The spatial attention aims to deal with the intra-image correlation to model the dynamic motion, while the channel attention enables the inter-image intertwining to enhance the semantic consistency across frames. Aside from this, we introduce a novel realistic HDR dataset with more variations in foreground objects, environmental factors, and larger motions. Extensive comparisons on both conventional datasets and ours validate the effectiveness of our method, achieving the best trade-off on the performance and the computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google