MM-PCQA: Multi-Modal Learning for No-reference Point Cloud Quality Assessment

要約

ますます増加する 3D ビジョン アプリケーションがユーザーに費用対効果の高い高品質のエクスペリエンスを提供することが期待されているため、点群の視覚的品質は非常に強調されてきました。
点群品質評価 (PCQA) 手法の開発を振り返ると、視覚的な品質は通常、2D 投影または 3D 点群から抽出された単一モーダル情報を利用して評価されます。
2D 投影には豊富なテクスチャとセマンティック情報が含まれていますが、視点に大きく依存していますが、3D 点群はジオメトリの歪みの影響を受けやすく、視点に対して不変です。
したがって、点群と投影画像モダリティの両方の利点を活用するために、マルチモーダルな方法で新しい非参照点群品質評価 (NR-PCQA) メトリックを提案します。
具体的には、ポイント クラウドをサブモデルに分割して、ポイント シフトやダウンサンプリングなどのローカル ジオメトリの歪みを表します。
次に、点群を 2D 画像投影にレンダリングして、テクスチャ特徴を抽出します。
目標を達成するために、サブモデルと投影された画像は、ポイントベースおよび画像ベースのニューラル ネットワークでエンコードされます。
最後に、対称的なクロスモーダル注意を使用して、マルチモーダルの品質認識情報を融合します。
実験結果は、私たちのアプローチが比較されたすべての最先端の方法よりも優れており、以前のNR-PCQA方法よりもはるかに優れていることを示しており、提案された方法の有効性を強調しています。

要約(オリジナル)

The visual quality of point clouds has been greatly emphasized since the ever-increasing 3D vision applications are expected to provide cost-effective and high-quality experiences for users. Looking back on the development of point cloud quality assessment (PCQA) methods, the visual quality is usually evaluated by utilizing single-modal information, i.e., either extracted from the 2D projections or 3D point cloud. The 2D projections contain rich texture and semantic information but are highly dependent on viewpoints, while the 3D point clouds are more sensitive to geometry distortions and invariant to viewpoints. Therefore, to leverage the advantages of both point cloud and projected image modalities, we propose a novel no-reference point cloud quality assessment (NR-PCQA) metric in a multi-modal fashion. In specific, we split the point clouds into sub-models to represent local geometry distortions such as point shift and down-sampling. Then we render the point clouds into 2D image projections for texture feature extraction. To achieve the goals, the sub-models and projected images are encoded with point-based and image-based neural networks. Finally, symmetric cross-modal attention is employed to fuse multi-modal quality-aware information. Experimental results show that our approach outperforms all compared state-of-the-art methods and is far ahead of previous NR-PCQA methods, which highlights the effectiveness of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google