Binary Opacity Grids: Capturing Fine Geometric Detail for Mesh-Based View Synthesis

要約

サーフェスベースのビュー合成アルゴリズムは、計算要件が低いため魅力的ですが、薄い構造を再現するのに苦労することがよくあります。
対照的に、シーンのジオメトリを体積密度フィールドとしてモデル化するより高価な方法 (NeRF など) は、細かい幾何学的詳細の再構築に優れています。
ただし、密度フィールドは多くの場合、ジオメトリを「あいまいな」方法で表現するため、表面の正確な位置特定が妨げられます。
この研究では、密度フィールドを変更して、薄い構造を再構築する能力を損なうことなく、密度フィールドが表面に向かって収束するように促します。
まず、連続密度フィールドの代わりに離散的な不透明度グリッド表現を採用します。これにより、不透明度の値がサーフェスで 0 から 1 に不連続に遷移することができます。
次に、ピクセルごとに複数のレイをキャストすることでアンチエイリアスを行います。これにより、半透明のボクセルを使用せずにオクルージョン境界とサブピクセル構造をモデル化できます。
3 番目に、不透明度値の 2 値エントロピーを最小限に抑えます。これにより、トレーニングの終わりに向けて不透明度値が 2 値化されるようになり、表面ジオメトリの抽出が容易になります。
最後に、フュージョンベースのメッシュ戦略を開発し、その後メッシュの単純化と外観モデルのフィッティングを行います。
私たちのモデルによって生成されたコンパクトなメッシュは、モバイル デバイス上でリアルタイムにレンダリングでき、既存のメッシュベースのアプローチと比較して大幅に高いビュー合成品質を実現します。

要約(オリジナル)

While surface-based view synthesis algorithms are appealing due to their low computational requirements, they often struggle to reproduce thin structures. In contrast, more expensive methods that model the scene’s geometry as a volumetric density field (e.g. NeRF) excel at reconstructing fine geometric detail. However, density fields often represent geometry in a ‘fuzzy’ manner, which hinders exact localization of the surface. In this work, we modify density fields to encourage them to converge towards surfaces, without compromising their ability to reconstruct thin structures. First, we employ a discrete opacity grid representation instead of a continuous density field, which allows opacity values to discontinuously transition from zero to one at the surface. Second, we anti-alias by casting multiple rays per pixel, which allows occlusion boundaries and subpixel structures to be modelled without using semi-transparent voxels. Third, we minimize the binary entropy of the opacity values, which facilitates the extraction of surface geometry by encouraging opacity values to binarize towards the end of training. Lastly, we develop a fusion-based meshing strategy followed by mesh simplification and appearance model fitting. The compact meshes produced by our model can be rendered in real-time on mobile devices and achieve significantly higher view synthesis quality compared to existing mesh-based approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google