GeodesicPSIM: Predicting the Quality of Static Mesh with Texture Map via Geodesic Patch Similarity

要約

テクスチャ マップを備えた静的メッシュは、工業製造と学術研究の両方で大きな注目を集めており、効果的かつ堅牢な客観的な品質評価が緊急に求められています。
ただし、現在のモデルベースの静的メッシュ品質メトリクスには明らかな制限があります。それらのほとんどはジオメトリ情報のみを考慮し、色情報は無視され、メッシュの幾何学的トポロジに対して厳しい制約があります。
画像ベースやポイントベースのメトリクスなどの他のメトリクスは、投影やサンプリングなどの事前に設定されているアルゴリズムの影響を受けやすく、最高のパフォーマンスを発揮する能力が妨げられます。
この論文では、静的メッシュに対する人間の知覚品質を正確に予測するための新しいモデルベースのメトリクスである測地線パッチ類似性 (GeodesicPSIM) を提案します。
グループ キーポイントを選択した後、参照メッシュと効果的なメッシュ クリーニング アルゴリズムによってクリーニングされた歪んだメッシュの両方に基づいて 1 ホップ測地線パッチが構築されます。
2 ステップのパッチ クロッピング アルゴリズムとパッチ テクスチャ マッピング モジュールにより、1 ホップ測地線パッチのサイズが調整され、メッシュ ジオメトリとカラー情報の間の関係が構築され、その結果、1 ホップ テクスチャ付き測地線パッチが生成されます。
歪みを定量化するために、パッチの色の滑らかさ、パッチの離散平均曲率、パッチのピクセルの色の平均と分散の 3 種類の特徴が抽出されます。
私たちの知る限り、GeodesicPSIM は、テクスチャ マップを備えた静的メッシュ用に特別に設計された最初のモデルベースのメトリックです。
GeodesicPSIM は、新しく作成された困難なデータベース上で、画像ベース、ポイントベース、およびビデオベースのメトリクスと比較して、最先端のパフォーマンスを提供します。
また、ハイパーパラメーターのさまざまな設定を導入することで、GeodesicPSIM の堅牢性も証明します。
アブレーション研究では、提案された 3 つの機能とパッチ クロッピング アルゴリズムの有効性も示しています。

要約(オリジナル)

Static meshes with texture maps have attracted considerable attention in both industrial manufacturing and academic research, leading to an urgent requirement for effective and robust objective quality evaluation. However, current model-based static mesh quality metrics have obvious limitations: most of them only consider geometry information, while color information is ignored, and they have strict constraints for the meshes’ geometrical topology. Other metrics, such as image-based and point-based metrics, are easily influenced by the prepossessing algorithms, e.g., projection and sampling, hampering their ability to perform at their best. In this paper, we propose Geodesic Patch Similarity (GeodesicPSIM), a novel model-based metric to accurately predict human perception quality for static meshes. After selecting a group keypoints, 1-hop geodesic patches are constructed based on both the reference and distorted meshes cleaned by an effective mesh cleaning algorithm. A two-step patch cropping algorithm and a patch texture mapping module refine the size of 1-hop geodesic patches and build the relationship between the mesh geometry and color information, resulting in the generation of 1-hop textured geodesic patches. Three types of features are extracted to quantify the distortion: patch color smoothness, patch discrete mean curvature, and patch pixel color average and variance. To the best of our knowledge, GeodesicPSIM is the first model-based metric especially designed for static meshes with texture maps. GeodesicPSIM provides state-of-the-art performance in comparison with image-based, point-based, and video-based metrics on a newly created and challenging database. We also prove the robustness of GeodesicPSIM by introducing different settings of hyperparameters. Ablation studies also exhibit the effectiveness of three proposed features and the patch cropping algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google