FullFormer: Generating Shapes Inside Shapes

要約

暗黙的な生成モデルは、3D データのモデル化に広く採用されており、最近では、高品質の 3D 形状のエンコードと生成に成功していることが証明されています。
この作業はこれらのモデルに基づいて構築されており、豊富な内部幾何学的詳細を備えた複雑な 3D 形状の生成を容易にする最初の暗黙的な生成モデルを提示することにより、現在の制限を緩和します。
これを実現するために、モデルは符号なし距離フィールドを使用してネストされた 3D サーフェスを表現し、防水性のないメッシュ データからの学習を可能にします。
ベクトル量子化された形状埋め込みからのコンテキスト豊富なトークンを活用する 3D 形状生成のためのトランスフォーマーベースの自己回帰モデルを提案します。
生成されたトークンは、豊富な内部構造を示す新しい 3D 形状にレンダリングされる符号なし距離フィールドにデコードされます。
私たちのモデルが、ShapeNet データセットの「車」、「飛行機」、および「椅子」の一般的なクラスで最先端の点群生成結果を達成することを示します。
さらに、ShapeNet の「車」クラスからの現実的な内部詳細を持つ形状のみを含むデータセットをキュレートし、内部ジオメトリを使用してこれらの形状を生成する方法の有効性を示します。

要約(オリジナル)

Implicit generative models have been widely employed to model 3D data and have recently proven to be successful in encoding and generating high-quality 3D shapes. This work builds upon these models and alleviates current limitations by presenting the first implicit generative model that facilitates the generation of complex 3D shapes with rich internal geometric details. To achieve this, our model uses unsigned distance fields to represent nested 3D surfaces allowing learning from non-watertight mesh data. We propose a transformer-based autoregressive model for 3D shape generation that leverages context-rich tokens from vector quantized shape embeddings. The generated tokens are decoded into an unsigned distance field which is rendered into a novel 3D shape exhibiting a rich internal structure. We demonstrate that our model achieves state-of-the-art point cloud generation results on popular classes of ‘Cars’, ‘Planes’, and ‘Chairs’ of the ShapeNet dataset. Additionally, we curate a dataset that exclusively comprises shapes with realistic internal details from the `Cars’ class of ShapeNet and demonstrate our method’s efficacy in generating these shapes with internal geometry.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google