Diverse Part Synthesis for 3D Shape Creation

要約

ニューラル ネットワークを使用してパーツベースの表現の形式で 3D 形状を合成する方法が、ここ数年にわたって導入されてきました。
これらの方法は、形状をグラフまたは部品の階層として表現し、形状のサンプリングや再構築などのさまざまなアプリケーションを可能にします。
しかし、現在の方法では、ユーザーの好みに応じて個々の形状パーツを簡単に再生成することはできません。
この論文では、ユーザーが個々の部品に対して複数の多様な提案を生成できるようにする手法を調査します。
具体的には、形状パーツに関するさまざまな提案をサンプリングできるマルチモーダルな深層生成モデルを実験し、形状合成に関するこれまでの研究では考慮されていなかったモデルに焦点を当てます。
これらの技術を比較研究するために、部品ベースの表現で 3D 形状を合成する方法を導入し、この合成方法内のすべての部品提案技術を評価します。
以前の研究からインスピレーションを得た私たちの方法では、形状は暗黙の関数の形でパーツのセットとして表現され、その後空間内に配置されて最終的な形状を形成します。
この表現の合成は、暗黙的なデコーダーと空間変換器に基づくニューラル ネットワーク アーキテクチャによって可能になります。
部品提案の生成におけるパフォーマンスを評価することで、さまざまなマルチモーダル生成モデルを比較します。
私たちの貢献は、マルチモーダル パーツ生成の新しい技術のうちどの技術が最も優れたパフォーマンスを発揮するのか、そして最も優れたパフォーマンスを発揮する技術に基づく合成方法により、ユーザーが 3D 形状で生成されるパーツをより細かく制御できることを定性的および定量的評価で示すことです。
形状を再構築するときに高い形状忠実度を維持しながら。

要約(オリジナル)

Methods that use neural networks for synthesizing 3D shapes in the form of a part-based representation have been introduced over the last few years. These methods represent shapes as a graph or hierarchy of parts and enable a variety of applications such as shape sampling and reconstruction. However, current methods do not allow easily regenerating individual shape parts according to user preferences. In this paper, we investigate techniques that allow the user to generate multiple, diverse suggestions for individual parts. Specifically, we experiment with multimodal deep generative models that allow sampling diverse suggestions for shape parts and focus on models which have not been considered in previous work on shape synthesis. To provide a comparative study of these techniques, we introduce a method for synthesizing 3D shapes in a part-based representation and evaluate all the part suggestion techniques within this synthesis method. In our method, which is inspired by previous work, shapes are represented as a set of parts in the form of implicit functions which are then positioned in space to form the final shape. Synthesis in this representation is enabled by a neural network architecture based on an implicit decoder and a spatial transformer. We compare the various multimodal generative models by evaluating their performance in generating part suggestions. Our contribution is to show with qualitative and quantitative evaluations which of the new techniques for multimodal part generation perform the best and that a synthesis method based on the top-performing techniques allows the user to more finely control the parts that are generated in the 3D shapes while maintaining high shape fidelity when reconstructing shapes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google