Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation

要約

3D 生成タスクのためにテクスチャ メッシュからグラウンド トゥルース放射輝度フィールドを導出するアプローチである Mesh2NeRF を紹介します。
多くの 3D 生成アプローチは、3D シーンをトレーニング用の放射フィールドとして表します。
通常、グラウンド トゥルースの放射輝度フィールドは、大規模な合成 3D データセットからのマルチビュー レンダリングからフィッティングされますが、その結果、オクルージョンやフィッティング不足の問題によりアーティファクトが発生することがよくあります。
Mesh2NeRF では、3D メッシュからグラウンド トゥルース放射輝度フィールドを直接取得し、定義された表面厚さを特徴とする占有関数で密度フィールドを特徴付け、メッシュと環境の両方を考慮した反射関数を通じてビュー依存の色を決定する解析ソリューションを提案します。
点灯。
Mesh2NeRF は正確な放射フィールドを抽出し、生成 NeRF のトレーニングと単一シーン表現を直接監視します。
さまざまなタスクにわたる Mesh2NeRF の有効性を検証し、ABO データセット上の単一シーン表現でのビュー合成の PSNR で 3.12dB の注目に値する改善、ShapeNet Car の単一ビューの条件付き生成での 0.69 PSNR の向上、および顕著に改善されたメッシュ抽出を達成しました。
Objaverse Mugs の無条件生成における NeRF から。

要約(オリジナル)

We present Mesh2NeRF, an approach to derive ground-truth radiance fields from textured meshes for 3D generation tasks. Many 3D generative approaches represent 3D scenes as radiance fields for training. Their ground-truth radiance fields are usually fitted from multi-view renderings from a large-scale synthetic 3D dataset, which often results in artifacts due to occlusions or under-fitting issues. In Mesh2NeRF, we propose an analytic solution to directly obtain ground-truth radiance fields from 3D meshes, characterizing the density field with an occupancy function featuring a defined surface thickness, and determining view-dependent color through a reflection function considering both the mesh and environment lighting. Mesh2NeRF extracts accurate radiance fields which provides direct supervision for training generative NeRFs and single scene representation. We validate the effectiveness of Mesh2NeRF across various tasks, achieving a noteworthy 3.12dB improvement in PSNR for view synthesis in single scene representation on the ABO dataset, a 0.69 PSNR enhancement in the single-view conditional generation of ShapeNet Cars, and notably improved mesh extraction from NeRF in the unconditional generation of Objaverse Mugs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google