SIR-DIFF: Sparse Image Sets Restoration with Multi-View Diffusion Model

要約

Computer Vision Communityは、シングルビューの劣化した写真から真のシーン情報をデジタル的に復元するための多数の技術を開発しました。これは、重要でありながら非常に不適切なタスクです。
この作業では、同じシーンの複数の写真を共同で除去することにより、異なる視点から画像の修復に取り組みます。
私たちのコア仮説は、共有シーンをキャプチャする劣化した画像には、組み合わされた場合、修復問題をよりよく制約する補完的な情報が含まれているということです。
この目的のために、マルチビュー関係から豊富な情報を抽出することにより、腐敗していないビューを共同で生成する強力なマルチビュー拡散モデルを実装します。
私たちの実験は、マルチビューアプローチが、既存のシングルビュー画像や、画像デブリングおよび超解像度のタスクに関するビデオベースの方法よりも優れていることを示しています。
重要なことに、私たちのモデルは3D一貫した画像を出力するようにトレーニングされており、3D再構成やポーズ推定など、堅牢なマルチビュー統合を必要とするアプリケーションの有望なツールになります。

要約(オリジナル)

The computer vision community has developed numerous techniques for digitally restoring true scene information from single-view degraded photographs, an important yet extremely ill-posed task. In this work, we tackle image restoration from a different perspective by jointly denoising multiple photographs of the same scene. Our core hypothesis is that degraded images capturing a shared scene contain complementary information that, when combined, better constrains the restoration problem. To this end, we implement a powerful multi-view diffusion model that jointly generates uncorrupted views by extracting rich information from multi-view relationships. Our experiments show that our multi-view approach outperforms existing single-view image and even video-based methods on image deblurring and super-resolution tasks. Critically, our model is trained to output 3D consistent images, making it a promising tool for applications requiring robust multi-view integration, such as 3D reconstruction or pose estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google