Geometry Fidelity for Spherical Images

要約

全天球または全方向画像は、幅広いコンピュータ ビジョン アプリケーションに魅力的な没入型のビジュアル形式を提供します。
ただし、球状画像の幾何学的特性は、通常の 2D 画像用に設計されたモデルとメトリクスにとって大きな課題となります。
ここでは、Fr\’echet Inception Distance (FID) を直接適用するだけでは、全天球画像の幾何学的忠実度を定量化するには不十分であることを示します。
幾何学的制約を考慮した 2 つの定量的指標、つまり全方向 FID (OmniFID) と不連続性スコア (DS) を導入します。
OmniFID は、キューブマップ投影を利用して球面フォーマットの視野要件をさらに取得するように調整された FID の拡張機能です。
DS は、球状画像の 2D 表現の境界を越えた連続性のカーネルベースのシーム アライメント スコアです。
実験では、OmniFID と DS は、FID では検出されないジオメトリの忠実度の問題を定量化します。

要約(オリジナル)

Spherical or omni-directional images offer an immersive visual format appealing to a wide range of computer vision applications. However, geometric properties of spherical images pose a major challenge for models and metrics designed for ordinary 2D images. Here, we show that direct application of Fr\’echet Inception Distance (FID) is insufficient for quantifying geometric fidelity in spherical images. We introduce two quantitative metrics accounting for geometric constraints, namely Omnidirectional FID (OmniFID) and Discontinuity Score (DS). OmniFID is an extension of FID tailored to additionally capture field-of-view requirements of the spherical format by leveraging cubemap projections. DS is a kernel-based seam alignment score of continuity across borders of 2D representations of spherical images. In experiments, OmniFID and DS quantify geometry fidelity issues that are undetected by FID.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google