Perceptual Quality Assessment of NeRF and Neural View Synthesis Methods for Front-Facing Views

要約

ニューラル ビュー合成 (NVS) は、自由視点ビデオを合成するための最も成功した技術の 1 つであり、キャプチャされた画像のまばらなセットのみから高い忠実度を達成できます。
この成功により、さまざまな手法が開発され、通常は PSNR、SSIM、LPIPS などの画質メトリクスを使用して一連のテスト ビューで評価されます。
知覚されるビデオ品質に関して NVS 手法がどのように機能するかについての研究は不足しています。
NVS および NeRF バリアントの知覚評価に関する最初の研究を紹介します。
この研究では、管理された実験室環境と自然環境で撮影されたシーンの 2 つのデータセットを収集しました。
既存のデータセットとは対照的に、これらのシーンには参照ビデオ シーケンスが付属しているため、静止画像だけを表示している場合には見落とされやすい時間的なアーティファクトや微妙な歪みをテストできます。
私たちは、適切に制御された知覚品質評価実験におけるいくつかの NVS 手法と、多くの既存の最先端の画像/ビデオ品質指標を使用して、合成されたビデオの品質を測定しました。
結果の詳細な分析と、NVS 評価のためのデータセットとメトリックの選択に関する推奨事項を示します。

要約(オリジナル)

Neural view synthesis (NVS) is one of the most successful techniques for synthesizing free viewpoint videos, capable of achieving high fidelity from only a sparse set of captured images. This success has led to many variants of the techniques, each evaluated on a set of test views typically using image quality metrics such as PSNR, SSIM, or LPIPS. There has been a lack of research on how NVS methods perform with respect to perceived video quality. We present the first study on perceptual evaluation of NVS and NeRF variants. For this study, we collected two datasets of scenes captured in a controlled lab environment as well as in-the-wild. In contrast to existing datasets, these scenes come with reference video sequences, allowing us to test for temporal artifacts and subtle distortions that are easily overlooked when viewing only static images. We measured the quality of videos synthesized by several NVS methods in a well-controlled perceptual quality assessment experiment as well as with many existing state-of-the-art image/video quality metrics. We present a detailed analysis of the results and recommendations for dataset and metric selection for NVS evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google