IFT: Image Fusion Transformer for Ghost-free High Dynamic Range Imaging

要約

マルチフレーム ハイ ダイナミック レンジ (HDR) イメージングは​​、コンテンツは相補的だが空間的に位置がずれているロー ダイナミック レンジ (LDR) 画像から、写真のようにリアルな詳細を備えたゴーストのない画像を再構築することを目的としています。
既存の HDR アルゴリズムは、動的なシーンで大きな動きがある LDR フレーム間の長距離依存関係をキャプチャできないため、ゴースト アーティファクトが発生する傾向があります。
この問題に対処するために、我々は、IFT と呼ばれる新しい画像融合トランスフォーマーを提案します。これは、ゴーストのない HDR イメージングのための高速グローバル パッチ検索 (FGPS) モジュールとそれに続く自己クロス フュージョン モジュール (SCF) を提供します。
FGPS は、長距離依存関係モデリングのために参照フレームの各パッチに最も近い依存関係を持つサポート フレームからパッチを検索します。一方、SCF は、FGPS によって線形複雑度で取得されたパッチに対してフレーム内およびフレーム間の特徴融合を実行します。
解像度を入力します。
フレーム間で同様のパッチを一致させることにより、動的なシーンで動きの範囲が大きいオブジェクトを位置合わせすることができ、アーティファクトの生成を効果的に軽減できます。
さらに、提案された FGPS と SCF は、効率的なプラグイン モジュールとしてさまざまなディープ HDR 方式に統合できます。
複数のベンチマークに関する広範な実験により、私たちの手法が量的および質的に最先端のパフォーマンスを達成していることが示されています。

要約(オリジナル)

Multi-frame high dynamic range (HDR) imaging aims to reconstruct ghost-free images with photo-realistic details from content-complementary but spatially misaligned low dynamic range (LDR) images. Existing HDR algorithms are prone to producing ghosting artifacts as their methods fail to capture long-range dependencies between LDR frames with large motion in dynamic scenes. To address this issue, we propose a novel image fusion transformer, referred to as IFT, which presents a fast global patch searching (FGPS) module followed by a self-cross fusion module (SCF) for ghost-free HDR imaging. The FGPS searches the patches from supporting frames that have the closest dependency to each patch of the reference frame for long-range dependency modeling, while the SCF conducts intra-frame and inter-frame feature fusion on the patches obtained by the FGPS with linear complexity to input resolution. By matching similar patches between frames, objects with large motion ranges in dynamic scenes can be aligned, which can effectively alleviate the generation of artifacts. In addition, the proposed FGPS and SCF can be integrated into various deep HDR methods as efficient plug-in modules. Extensive experiments on multiple benchmarks show that our method achieves state-of-the-art performance both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google