Latent Partition Implicit with Surface Codes for 3D Representation

要約

深い陰関数は、さまざまな3Dコンピュータービジョンタスクで優れた形状モデリング能力を示しています。
欠点の1つは、3D形状を複数のパーツとして表現することが難しいことです。
現在のソリューションは、さまざまなプリミティブを学習し、それらのプリミティブを空間空間で直接ブレンドしますが、それでも3D形状を正確に近似するのに苦労しています。
この問題を解決するために、非常に正確でもっともらしく解釈可能な形状モデリングの両方に向けて、潜在空間内のパーツのセットとして単一の3D形状を表す新しい暗黙の表現を導入します。
ここでの私たちの洞察は、部分学習と部分混合の両方が、空間空間よりも潜在空間ではるかに簡単に実行できるということです。
グローバル形状モデリングを複数のローカルパーツモデリングにキャストできるため、このメソッドにLatent Partition Implicit（LPI）という名前を付けます。これにより、グローバル形状の単一性が分割されます。
LPIは、サーフェスコードを使用して、形状を符号付き距離関数（SDF）として表します。
各サーフェスコードは、中心がサーフェス上にあるパーツを表す潜在コードです。これにより、形状の固有の属性や追加のサーフェスプロパティを柔軟に使用できます。
最終的に、LPIは、形状と形状上のパーツの両方を再構築できます。どちらももっともらしいメッシュです。
LPIはマルチレベルの表現であり、トレーニング後に形状をさまざまな数のパーツに分割できます。
LPIは、グラウンドトゥルース符号付き距離、ポイント法線、またはパーツ分割の監視なしで学習できます。
LPIは、再構成の精度とモデリングの解釈可能性の点で、広く使用されているベンチマークの下で最新の方法よりも優れています。
コード、データ、モデルはhttps://github.com/chenchao15/LPIで入手できます。

要約(オリジナル)

Deep implicit functions have shown remarkable shape modeling ability in various 3D computer vision tasks. One drawback is that it is hard for them to represent a 3D shape as multiple parts. Current solutions learn various primitives and blend the primitives directly in the spatial space, which still struggle to approximate the 3D shape accurately. To resolve this problem, we introduce a novel implicit representation to represent a single 3D shape as a set of parts in the latent space, towards both highly accurate and plausibly interpretable shape modeling. Our insight here is that both the part learning and the part blending can be conducted much easier in the latent space than in the spatial space. We name our method Latent Partition Implicit (LPI), because of its ability of casting the global shape modeling into multiple local part modeling, which partitions the global shape unity. LPI represents a shape as Signed Distance Functions (SDFs) using surface codes. Each surface code is a latent code representing a part whose center is on the surface, which enables us to flexibly employ intrinsic attributes of shapes or additional surface properties. Eventually, LPI can reconstruct both the shape and the parts on the shape, both of which are plausible meshes. LPI is a multi-level representation, which can partition a shape into different numbers of parts after training. LPI can be learned without ground truth signed distances, point normals or any supervision for part partition. LPI outperforms the latest methods under the widely used benchmarks in terms of reconstruction accuracy and modeling interpretability. Our code, data and models are available at https://github.com/chenchao15/LPI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google