Efficient Flow-Guided Multi-frame De-fencing

要約

「野生」での写真撮影は、カメラ ユーザーと関心のあるシーンの間に立ちはだかるフェンスの障害物によって妨げられることが多く、これらの障害物を回避するのは困難または不可能です。
ディフェンシングは、画像からそのような障害物を自動的に取り除き、シーンの目に見えない部分を明らかにするアルゴリズム プロセスです。
この問題は、フェンスのセグメンテーションと画像の修復の組み合わせとして定式化できますが、これは多くの場合、閉塞領域の信じがたい幻覚につながります。
既存のマルチフレーム アプローチは、選択されたキーフレームにその一時的な隣接から情報を伝達することに依存していますが、多くの場合、非効率的であり、ひどく遮られた画像の位置合わせに苦労しています。
この作業では、ビデオ補完の文献からインスピレーションを得て、遮られたフレームから高品質のフロー マップを直接計算し、それらを使用してフレームを正確に整列させるマルチフレーム ディフェンシングのための簡素化されたフレームワークを開発します。
私たちの主な焦点は、現実世界の設定での効率と実用性です。アルゴリズムへの入力は短い画像バースト (5 フレーム) – 最近のスマートフォンで一般的に利用可能なデータ モダリティ – であり、出力は単一の再構築されたキーフレームです。
削除されました。
私たちのアプローチは、慎重に生成された合成データでトレーニングされたシンプルでありながら効果的な CNN モジュールを活用し、リアルタイムで実行しながら、量的および質的に、より複雑な代替の実際のバーストよりも優れています。

要約(オリジナル)

Taking photographs ”in-the-wild” is often hindered by fence obstructions that stand between the camera user and the scene of interest, and which are hard or impossible to avoid. De-fencing is the algorithmic process of automatically removing such obstructions from images, revealing the invisible parts of the scene. While this problem can be formulated as a combination of fence segmentation and image inpainting, this often leads to implausible hallucinations of the occluded regions. Existing multi-frame approaches rely on propagating information to a selected keyframe from its temporal neighbors, but they are often inefficient and struggle with alignment of severely obstructed images. In this work we draw inspiration from the video completion literature and develop a simplified framework for multi-frame de-fencing that computes high quality flow maps directly from obstructed frames and uses them to accurately align frames. Our primary focus is efficiency and practicality in a real-world setting: the input to our algorithm is a short image burst (5 frames) – a data modality commonly available in modern smartphones – and the output is a single reconstructed keyframe, with the fence removed. Our approach leverages simple yet effective CNN modules, trained on carefully generated synthetic data, and outperforms more complicated alternatives real bursts, both quantitatively and qualitatively, while running real-time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google