NeuralODF: Learning Omnidirectional Distance Fields for 3D Shape Representation

要約

ビジュアルコンピューティングでは、3Dジオメトリは、メッシュ、ポイントクラウド、ボクセルグリッド、レベルセット、深度画像など、さまざまな形式で表されます。
各表現はさまざまなタスクに適しているため、ある表現を別の表現（フォワードマップ）に変換することは重要で一般的な問題になります。
全方向距離フィールド（ODF）を提案します。これは、任意の3D位置から任意の表示方向までのオブジェクトの表面までの深さを格納することにより、ジオメトリをエンコードする新しい3D形状表現です。
光線はODFの基本単位であるため、メッシュや点群などの一般的な3D表現との間で簡単に変換するために使用できます。
閉じた表面の表現に限定されたレベルセット法とは異なり、ODFは符号なしであるため、開いた表面（衣服など）をモデル化できます。
ODFは、オクルージョン境界での固有の不連続性にもかかわらず、ニューラルネットワーク（NeuralODF）で効果的に学習できることを示しています。
また、ODFを一般的な3D表現との間で変換するための効率的なフォワードマッピングアルゴリズムも紹介します。
具体的には、ODFからメッシュを生成するための効率的なJumpingCubesアルゴリズムを紹介します。
実験は、NeuralODFが単一のオブジェクトに過剰適合することによって高品質の形状をキャプチャすることを学習し、一般的な形状カテゴリで一般化することも学習できることを示しています。

要約(オリジナル)

In visual computing, 3D geometry is represented in many different forms including meshes, point clouds, voxel grids, level sets, and depth images. Each representation is suited for different tasks thus making the transformation of one representation into another (forward map) an important and common problem. We propose Omnidirectional Distance Fields (ODFs), a new 3D shape representation that encodes geometry by storing the depth to the object’s surface from any 3D position in any viewing direction. Since rays are the fundamental unit of an ODF, it can be used to easily transform to and from common 3D representations like meshes or point clouds. Different from level set methods that are limited to representing closed surfaces, ODFs are unsigned and can thus model open surfaces (e.g., garments). We demonstrate that ODFs can be effectively learned with a neural network (NeuralODF) despite the inherent discontinuities at occlusion boundaries. We also introduce efficient forward mapping algorithms for transforming ODFs to and from common 3D representations. Specifically, we introduce an efficient Jumping Cubes algorithm for generating meshes from ODFs. Experiments demonstrate that NeuralODF can learn to capture high-quality shape by overfitting to a single object, and also learn to generalize on common shape categories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google