Vox-Surf: Voxel-based Implicit Surface Representation

要約

仮想コンテンツの作成とインタラクションは、AR や VR などの最新の 3D アプリケーションで重要な役割を果たします。
実際のシーンから詳細な 3D モデルを復元すると、そのアプリケーションの範囲が大幅に拡大され、コンピューター ビジョンおよびコンピューター グラフィックスのコミュニティで数十年にわたって研究されてきました。
ボクセルベースの暗黙的な表面表現である Vox-Surf を提案します。
私たちの Vox-Surf は、空間を有限の有界ボクセルに分割します。
各ボクセルは、その角の頂点にジオメトリと外観の情報を格納します。
Vox-Surf は、ボクセル表現から継承されたスパース性のおかげで、ほぼすべてのシナリオに適しており、複数のビュー画像から簡単にトレーニングできます。
プログレッシブ トレーニング手順を利用して、重要なボクセルを徐々に抽出し、さらに最適化することで、有効なボクセルのみが保持されるようにします。これにより、サンプリング ポイントの数が大幅に削減され、レンダリング速度が向上します。細かいボクセルは、衝突検出のバウンディング ボリュームと見なすこともできます。
実験では、Vox-Surf 表現が他の方法よりも少ないメモリと高速なレンダリング速度で繊細な表面の詳細と正確な色を学習できることを示しています。

要約(オリジナル)

Virtual content creation and interaction play an important role in modern 3D applications such as AR and VR. Recovering detailed 3D models from real scenes can significantly expand the scope of its applications and has been studied for decades in the computer vision and computer graphics community. We propose Vox-Surf, a voxel-based implicit surface representation. Our Vox-Surf divides the space into finite bounded voxels. Each voxel stores geometry and appearance information in its corner vertices. Vox-Surf is suitable for almost any scenario thanks to sparsity inherited from voxel representation and can be easily trained from multiple view images. We leverage the progressive training procedure to extract important voxels gradually for further optimization so that only valid voxels are preserved, which greatly reduces the number of sampling points and increases rendering speed.The fine voxels can also be considered as the bounding volume for collision detection.The experiments show that Vox-Surf representation can learn delicate surface details and accurate color with less memory and faster rendering speed than other methods.We also show that Vox-Surf can be more practical in scene editing and AR applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google