Towards a Robust Framework for NeRF Evaluation

要約

Neural Radiance Field (NeRF) 研究は、3D モデリング、仮想/拡張現実、および視覚効果がその応用を促進することで、最近大きな注目を集めています。
現在の NeRF 実装では高品質の視覚的結果を生成できますが、それらを評価するための信頼できる方法が著しく不足しています。
従来の画質評価方法と分析指標 (PSNR、SSIM、LPIPS など) は、NeRF パイプライン全体の能力を一般化するため、パフォーマンスのおおよその指標しか提供しません。
したがって、この論文では、ニューラル レンダリング ネットワークを NeRF パイプラインから分離し、明示的な放射輝度フィールド表現で NeRF をトレーニングおよび評価することでパラメトリック評価を実行する新しいテスト フレームワークを提案します。
また、評価目的に特化した表現を生成するための構成可能なアプローチも紹介します。
これは、レイ キャスティングを使用してメッシュ モデルを明示的な NeRF サンプルに変換し、これらの表現を「シェーディング」します。
これら 2 つのアプローチを組み合わせて、さまざまな「タスク」 (さまざまな視覚効果または学習戦略を持つシーン) とネットワークの種類 (NeRF および深さ方向の暗黙的ニューラル表現 (INR)) をこのフレームワーク内でどのように評価できるかを示します。
さらに、視覚パラメータと空間データの分布を考慮したフレームワークのタスクの複雑さを測定するための新しい指標を提案します。
私たちのアプローチは、NeRF 手法の比較客観的評価フレームワークを作成する可能性を提供します。

要約(オリジナル)

Neural Radiance Field (NeRF) research has attracted significant attention recently, with 3D modelling, virtual/augmented reality, and visual effects driving its application. While current NeRF implementations can produce high quality visual results, there is a conspicuous lack of reliable methods for evaluating them. Conventional image quality assessment methods and analytical metrics (e.g. PSNR, SSIM, LPIPS etc.) only provide approximate indicators of performance since they generalise the ability of the entire NeRF pipeline. Hence, in this paper, we propose a new test framework which isolates the neural rendering network from the NeRF pipeline and then performs a parametric evaluation by training and evaluating the NeRF on an explicit radiance field representation. We also introduce a configurable approach for generating representations specifically for evaluation purposes. This employs ray-casting to transform mesh models into explicit NeRF samples, as well as to ‘shade’ these representations. Combining these two approaches, we demonstrate how different ‘tasks’ (scenes with different visual effects or learning strategies) and types of networks (NeRFs and depth-wise implicit neural representations (INRs)) can be evaluated within this framework. Additionally, we propose a novel metric to measure task complexity of the framework which accounts for the visual parameters and the distribution of the spatial data. Our approach offers the potential to create a comparative objective evaluation framework for NeRF methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google