CrossScore: Towards Multi-View Image Evaluation and Scoring

要約

当社は、画像評価環境のギャップを効果的に埋め、SSIM などの完全参照メトリクスから NIQE などの非参照メトリクスに至るまで、確立された一連の評価スキームを補完する、新しい相互参照画質評価方法を導入します。
FID を含む参照メトリクス、および CLIPScore などのマルチモーダル参照メトリクス。
クロスアテンション メカニズムを備えたニューラル ネットワークと、NVS 最適化による独自のデータ収集パイプラインを利用することで、私たちの手法は、グラウンド トゥルースの参照を必要とせずに正確な画質評価を可能にします。
クエリ画像を同じシーンの複数のビューと比較することにより、私たちの方法は、直接参照画像が利用できない新規ビュー合成 (NVS) や同様のタスクにおける既存のメトリクスの制限に対処します。
実験結果は、私たちの方法が完全基準メトリック SSIM と密接に相関している一方で、グラウンド トゥルース基準を必要としないことを示しています。

要約(オリジナル)

We introduce a novel cross-reference image quality assessment method that effectively fills the gap in the image assessment landscape, complementing the array of established evaluation schemes — ranging from full-reference metrics like SSIM, no-reference metrics such as NIQE, to general-reference metrics including FID, and Multi-modal-reference metrics, e.g., CLIPScore. Utilising a neural network with the cross-attention mechanism and a unique data collection pipeline from NVS optimisation, our method enables accurate image quality assessment without requiring ground truth references. By comparing a query image against multiple views of the same scene, our method addresses the limitations of existing metrics in novel view synthesis (NVS) and similar tasks where direct reference images are unavailable. Experimental results show that our method is closely correlated to the full-reference metric SSIM, while not requiring ground truth references.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google