Exposure Fusion for Hand-held Camera Inputs with Optical Flow and PatchMatch

要約

タイトル：オプティカルフローとPatchMatchを用いた手持ちカメラ入力の露出融合

要約：

– 手ぶれや動的なシーンによる動きを補償する必要があるため、露出融合前に画像の補正が必要
– 誤ったアライメントは、融合結果にぼやけやゴースティングのアーティファクトを引き起こす可能性があるため、この問題を解決するために、提案された融合法はオプティカルフローを使用し、複雑な非剛体運動に対して良好な粗いレジストレーションを行う
– シーンパララックスや移動するコンテンツによる対応の欠如のために、オプティカルフローは欠陥のある領域で変形を生じることがあるため、提案手法では、画像をスーパーピクセルに分割し、各スーパーピクセルに基づいて問題のあるアライメントを特定し、さらにPatchMatchによって整列させている
– PatchMatchによる修正後、ぼやけやゴースティングアーティファクトのない高品質な融合が容易になる
– 実験結果は、手ぶれや動的なシーン、屋内/屋外、昼/夜のシーンなど、さまざまな難しい例で、提案手法の有効性と頑健性を示し、既存の融合アルゴリズムと比較している。

要約(オリジナル)

This paper proposes a hybrid synthesis method for multi-exposure image fusion taken by hand-held cameras. Motions either due to the shaky camera or caused by dynamic scenes should be compensated before any content fusion. Any misalignment can easily cause blurring/ghosting artifacts in the fused result. Our hybrid method can deal with such motions and maintain the exposure information of each input effectively. In particular, the proposed method first applies optical flow for a coarse registration, which performs well with complex non-rigid motion but produces deformations at regions with missing correspondences. The absence of correspondences is due to the occlusions of scene parallax or the moving contents. To correct such error registration, we segment images into superpixels and identify problematic alignments based on each superpixel, which is further aligned by PatchMatch. The method combines the efficiency of optical flow and the accuracy of PatchMatch. After PatchMatch correction, we obtain a fully aligned image stack that facilitates a high-quality fusion that is free from blurring/ghosting artifacts. We compare our method with existing fusion algorithms on various challenging examples, including the static/dynamic, the indoor/outdoor and the daytime/nighttime scenes. Experiment results demonstrate the effectiveness and robustness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI