Puzzle Similarity: A Perceptually-guided No-Reference Metric for Artifact Detection in 3D Scene Reconstructions

要約

最新の再構成技術を使用すると、まばらな 2D ビューから複雑な 3D シーンを効果的にモデル化できます。
ただし、新しいビューの品質を自動的に評価し、アーティファクトを特定することは、グラウンド トゥルース画像の欠如と、詳細なアーティファクト マップを予測する際の非参照画像メトリクスの制限により困難です。
このような品質メトリクスが存在しないと、生成されたビューの品質を正確に予測できなくなり、再構成の品質を向上させるための修復などの後処理技術の採用が制限されます。
この研究では、新しいビュー内のアーティファクトの位置を特定するように設計された、新しい非参照メトリックであるパズル類似性を提案します。
私たちのアプローチは、入力ビューからの画像パッチ統計を利用してシーン固有の分布を確立し、後で新しいビュー内で再構成が不十分な領域を識別するために使用します。
私たちは 3D 再構成のコンテキストでメソッドをテストし、評価します。
この目的を達成するために、私たちは、目に見えない再構成されたビューで人間の質を評価する新しいデータセットを収集しました。
このデータセットを通じて、私たちの方法が人間の評価と相関して新しいビューでアーティファクトの位置を首尾よく特定できるだけでなく、直接参照なしでそれを行うことができることを実証します。
驚くべきことに、私たちのメトリクスは、非参照メトリクスと一般的な完全参照画像メトリクスの両方を上回っています。
新しいメトリクスを活用して、自動画像復元、ガイド付き取得、まばらな入力からの 3D 再構成などのアプリケーションを強化できます。

要約(オリジナル)

Modern reconstruction techniques can effectively model complex 3D scenes from sparse 2D views. However, automatically assessing the quality of novel views and identifying artifacts is challenging due to the lack of ground truth images and the limitations of no-reference image metrics in predicting detailed artifact maps. The absence of such quality metrics hinders accurate predictions of the quality of generated views and limits the adoption of post-processing techniques, such as inpainting, to enhance reconstruction quality. In this work, we propose a new no-reference metric, Puzzle Similarity, which is designed to localize artifacts in novel views. Our approach utilizes image patch statistics from the input views to establish a scene-specific distribution that is later used to identify poorly reconstructed regions in the novel views. We test and evaluate our method in the context of 3D reconstruction; to this end, we collected a novel dataset of human quality assessment in unseen reconstructed views. Through this dataset, we demonstrate that our method can not only successfully localize artifacts in novel views, correlating with human assessment, but do so without direct references. Surprisingly, our metric outperforms both no-reference metrics and popular full-reference image metrics. We can leverage our new metric to enhance applications like automatic image restoration, guided acquisition, or 3D reconstruction from sparse inputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google