3D VR Sketch Guided 3D Shape Prototyping and Exploration

要約

3D 形状モデリングは多大な労力と時間がかかり、長年の専門知識が必要です。
最近、2D スケッチとテキスト入力は、3D 形状モデリングを容易にするための 3D 形状生成ネットワークへの条件付きモダリティとして考慮されました。
ただし、テキストには十分な詳細な情報が含まれておらず、ジオメトリよりもカテゴリや外観を説明するのに適していますが、2D スケッチは曖昧であり、複雑な 3D 形状を 2D で描写するにはやはり広範な練習が必要です。
代わりに、3D で直接描画される仮想現実のスケッチを検討します。
スケッチは芸術の訓練を受けていない初心者によって作成されたものであると想定し、物理的に妥当な 3D 形状を再構築することを目的としています。
このようなスケッチは潜在的に曖昧であるため、入力スケッチ構造に従う複数の 3D 形状の生成の問題に取り組みます。
トレーニング データのサイズが制限されているため、モデルを段階的にトレーニングし、マルチモーダル 3D 形状表現を活用して方法を慎重に設計します。
生成された 3D 形状の妥当性を保証するために、3D 形状の潜在空間の分布をモデル化する正規化フローを活用します。
生成された 3D モデルの入力スケッチへの忠実度を高めるために、トレーニング プロセスのさまざまな段階で導入する専用の損失を提案します。
コードを公開する予定です。

要約(オリジナル)

3D shape modeling is labor-intensive and time-consuming and requires years of expertise. Recently, 2D sketches and text inputs were considered as conditional modalities to 3D shape generation networks to facilitate 3D shape modeling. However, text does not contain enough fine-grained information and is more suitable to describe a category or appearance rather than geometry, while 2D sketches are ambiguous, and depicting complex 3D shapes in 2D again requires extensive practice. Instead, we explore virtual reality sketches that are drawn directly in 3D. We assume that the sketches are created by novices, without any art training, and aim to reconstruct physically-plausible 3D shapes. Since such sketches are potentially ambiguous, we tackle the problem of the generation of multiple 3D shapes that follow the input sketch structure. Limited in the size of the training data, we carefully design our method, training the model step-by-step and leveraging multi-modal 3D shape representation. To guarantee the plausibility of generated 3D shapes we leverage the normalizing flow that models the distribution of the latent space of 3D shapes. To encourage the fidelity of the generated 3D models to an input sketch, we propose a dedicated loss that we deploy at different stages of the training process. We plan to make our code publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google