Explicit-NeRF-QA: A Quality Assessment Database for Explicit NeRF Model Compression

要約

近年、Neural Radiance Fields (NeRF) は 3D シーンの表現と合成において大きな利点を示しています。
明示的な NeRF モデルは、より高速なレンダリング速度で実用的な NeRF アプリケーションを容易にし、膨大なストレージ コストのため NeRF 圧縮でも大きな注目を集めています。
NeRF 圧縮研究の課題に対処するために、この論文では、Explicit-NeRF-QA と呼ばれる新しいデータセットを構築します。
さまざまなジオメトリ、テクスチャ、マテリアルの複雑さを持つ 22 の 3D オブジェクトを使用して、5 つのパラメーター レベルにわたって 4 つの典型的な明示的な NeRF モデルをトレーニングします。
非可逆圧縮はモデル生成中に導入され、InstantNGP のハッシュ テーブル サイズやプレノセルのボクセル グリッド解像度などの主要なパラメーターの選択を中心に行います。
NeRF サンプルを処理済みビデオ シーケンス (PVS) にレンダリングすることにより、ラボ環境で大規模な主観的な実験が実施され、21 人の視聴者から主観的なスコアが収集されます。
コンテンツの多様性、平均意見スコア (MOS) の精度、NeRF 歪みの特性が包括的に示され、提案されたデータセットの異質性が確立されています。
最先端の客観的指標が新しいデータセットでテストされます。
約 0.85 のベスト パーソン相関は、完全参照の客観的指標から収集されます。
テストされたすべての非参照メトリクスは、相関が 0.4 ～ 0.6 という非常に悪い結果を報告しており、より堅牢な非参照メトリクスをさらに開発する必要があることが示されています。
NeRF サンプル、ソース 3D オブジェクト、NeRF 生成用のマルチビュー画像、PVS、MOS を含むデータセットは、https://github.com/LittlericeChloe/Explicit_NeRF_QA で公開されています。

要約(オリジナル)

In recent years, Neural Radiance Fields (NeRF) have demonstrated significant advantages in representing and synthesizing 3D scenes. Explicit NeRF models facilitate the practical NeRF applications with faster rendering speed, and also attract considerable attention in NeRF compression due to its huge storage cost. To address the challenge of the NeRF compression study, in this paper, we construct a new dataset, called Explicit-NeRF-QA. We use 22 3D objects with diverse geometries, textures, and material complexities to train four typical explicit NeRF models across five parameter levels. Lossy compression is introduced during the model generation, pivoting the selection of key parameters such as hash table size for InstantNGP and voxel grid resolution for Plenoxels. By rendering NeRF samples to processed video sequences (PVS), a large scale subjective experiment with lab environment is conducted to collect subjective scores from 21 viewers. The diversity of content, accuracy of mean opinion scores (MOS), and characteristics of NeRF distortion are comprehensively presented, establishing the heterogeneity of the proposed dataset. The state-of-the-art objective metrics are tested in the new dataset. Best Person correlation, which is around 0.85, is collected from the full-reference objective metric. All tested no-reference metrics report very poor results with 0.4 to 0.6 correlations, demonstrating the need for further development of more robust no-reference metrics. The dataset, including NeRF samples, source 3D objects, multiview images for NeRF generation, PVSs, MOS, is made publicly available at the following location: https://github.com/LittlericeChloe/Explicit_NeRF_QA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google