LinPrim: Linear Primitives for Differentiable Volumetric Rendering

要約

ボリュームレンダリングは、観察されたビューから直接3Dシーン表現を最適化するために微分可能なレンダリングを使用する現代の新規ビューの合成方法の中心となっています。
最近の多くの作品がNERFまたは3Dガウスの上に構築されていますが、代替のボリュームシーンの表現を探ります。
より具体的には、線形プリミティブ – オクタヘドラとテトラヘドラに基づいた2つの新しいシーン表現を導入します。
この定式化は、標準のメッシュベースのツールと自然に整合し、ダウンストリームアプリケーションのオーバーヘッドを最小限に抑えます。
これらのプリミティブを最適化するために、GPUで効率的に動作する微分可能なラスターザーを提示し、リアルタイムレンダリング機能を維持しながらエンドツーエンドのグラデーションベースの最適化を可能にします。
現実世界のデータセットでの実験を通じて、同様の再構成の忠実度を達成するためにはより少ないプリミティブを必要とする一方で、最先端のボリューム法に匹敵するパフォーマンスを示します。
私たちの調査結果は、体積レンダリングの幾何学に関する洞察を提供し、明示的なポリヘドラを採用すると、シーン表現の設計スペースを拡大できることを示唆しています。

要約(オリジナル)

Volumetric rendering has become central to modern novel view synthesis methods, which use differentiable rendering to optimize 3D scene representations directly from observed views. While many recent works build on NeRF or 3D Gaussians, we explore an alternative volumetric scene representation. More specifically, we introduce two new scene representations based on linear primitives-octahedra and tetrahedra-both of which define homogeneous volumes bounded by triangular faces. This formulation aligns naturally with standard mesh-based tools, minimizing overhead for downstream applications. To optimize these primitives, we present a differentiable rasterizer that runs efficiently on GPUs, allowing end-to-end gradient-based optimization while maintaining realtime rendering capabilities. Through experiments on real-world datasets, we demonstrate comparable performance to state-of-the-art volumetric methods while requiring fewer primitives to achieve similar reconstruction fidelity. Our findings provide insights into the geometry of volumetric rendering and suggest that adopting explicit polyhedra can expand the design space of scene representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google