Treating Point Cloud as Moving Camera Videos: A No-Reference Quality Assessment Metric

要約

点群は、3D コンテンツで最も広く使用されているデジタル表現形式の 1 つであり、その視覚的品質は、制作手順中のノイズや幾何学的シフト、および伝送プロセス中の圧縮やダウンサンプリングの影響を受ける可能性があります。
点群品質評価 (PCQA) の課題に取り組むために、レンダリングされた静的 2D 投影を評価することによって点群の視覚的品質レベルを評価する多くの PCQA メソッドが提案されています。
このような投影ベースの PCQA 手法は、成熟した画質評価 (IQA) 手法の助けを借りて競争力のあるパフォーマンスを達成しますが、動的な品質認識情報を無視します。
および動的ビュー。
したがって、このホワイト ペーパーでは、ポイント クラウドを移動カメラ ビデオとして扱い、非参照 (NR) 方式でビデオ品質評価 (VQA) メソッドを使用して PCQA タスクを処理する方法を探ります。
まず、4 つの円形経路を介して点群の周りでカメラを回転させて、キャプチャしたビデオを生成します。
次に、選択したキー フレームとビデオ クリップから、トレーニング可能な 2D-CNN モデルと事前トレーニング済みの 3D-CNN モデルをそれぞれ使用して、空間的および時間的な品質認識機能の両方を抽出します。
最後に、点群の視覚的品質は、回帰ビデオ品質値によって表されます。
実験結果は、提案された方法が点群の視覚的品質レベルを予測するのに効果的であり、完全参照 (FR) PCQA 方法と競合することさえあることを明らかにしています。
アブレーション研究は、提案されたフレームワークの合理性をさらに検証し、動的ビューから抽出された品質認識機能によって行われた貢献を確認します。

要約(オリジナル)

Point cloud is one of the most widely used digital representation formats for 3D contents, the visual quality of which may suffer from noise and geometric shift during the production procedure as well as compression and downsampling during the transmission process. To tackle the challenge of point cloud quality assessment (PCQA), many PCQA methods have been proposed to evaluate the visual quality levels of point clouds by assessing the rendered static 2D projections. Although such projection-based PCQA methods achieve competitive performance with the assistance of mature image quality assessment (IQA) methods, they neglect the dynamic quality-aware information, which does not fully match the fact that observers tend to perceive the point clouds through both static and dynamic views. Therefore, in this paper, we treat the point clouds as moving camera videos and explore the way of dealing with PCQA tasks via using video quality assessment (VQA) methods in a no-reference (NR) manner. First, we generate the captured videos by rotating the camera around the point clouds through four circular pathways. Then we extract both spatial and temporal quality-aware features from the selected key frames and the video clips by using trainable 2D-CNN and pre-trained 3D-CNN models respectively. Finally, the visual quality of point clouds is represented by the regressed video quality values. The experimental results reveal that the proposed method is effective for predicting the visual quality levels of the point clouds and even competitive with full-reference (FR) PCQA methods. The ablation studies further verify the rationality of the proposed framework and confirm the contributions made by the quality-aware features extracted from dynamic views.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google