SimNP: Learning Self-Similarity Priors Between Neural Points

要約

3D オブジェクト再構成のための既存のニューラル フィールド表現は、(1) オブジェクト レベルの表現を利用しますが、グローバル潜在コードによる条件付けにより詳細品質が低下するか、(2) 観察を完全に再構築できますが、それを利用できません。
オブジェクトレベルの事前知識を利用して、未観測領域を推測します。
我々は、カテゴリレベルの自己相似性を学習するための手法である SimNP を紹介します。これは、神経点の放射輝度フィールドをカテゴリレベルの自己相似性表現と接続することで、両方の利点を組み合わせたものです。
私たちの貢献は 2 つあります。
(1) コヒーレント点群の概念を利用して、カテゴリレベルでの最初の神経点表現を設計します。
結果として得られるニューラル ポイント放射輝度フィールドには、ローカルにサポートされているオブジェクト領域の高レベルの詳細が保存されます。
(2) 制約や教師なしの方法で神経点間で情報がどのように共有されるかを学びます。これにより、与えられた観察から再構成プロセス中に物体の未観察の領域を導き出すことができます。
SimNP は、インスタンス間の意味論的な対応を提供しながら、カテゴリ レベルまたはピクセルに位置合わせされた放射輝度フィールドに基づいて構築される方法を上回り、対称の見えないオブジェクト領域を再構成する際に以前の方法を上回る性能を発揮できることを示します。

要約(オリジナル)

Existing neural field representations for 3D object reconstruction either (1) utilize object-level representations, but suffer from low-quality details due to conditioning on a global latent code, or (2) are able to perfectly reconstruct the observations, but fail to utilize object-level prior knowledge to infer unobserved regions. We present SimNP, a method to learn category-level self-similarities, which combines the advantages of both worlds by connecting neural point radiance fields with a category-level self-similarity representation. Our contribution is two-fold. (1) We design the first neural point representation on a category level by utilizing the concept of coherent point clouds. The resulting neural point radiance fields store a high level of detail for locally supported object regions. (2) We learn how information is shared between neural points in an unconstrained and unsupervised fashion, which allows to derive unobserved regions of an object during the reconstruction process from given observations. We show that SimNP is able to outperform previous methods in reconstructing symmetric unseen object regions, surpassing methods that build upon category-level or pixel-aligned radiance fields, while providing semantic correspondences between instances

arxiv情報

提供元, 利用サービス

arxiv.jp, Google