Deep3DSketch+: Rapid 3D Modeling from Single Free-hand Sketches

要約

AR/VR の急速な発展により、3D コンテンツに対する膨大な需要が生じています。
広く使用されているコンピュータ支援設計 (CAD) 手法では、時間と労力がかかるモデリング プロセスが必要ですが、スケッチベースの 3D モデリングは、コンピュータと人間の対話の自然な形式として潜在的なソリューションを提供します。
ただし、スケッチがまばらで曖昧であるため、クリエイターのアイデアを反映した忠実度の高いコンテンツを生成することが困難になります。
この課題に取り組むには、複数のビューからの正確な描画や戦略的な段階的な描画が必要になることがよくありますが、初心者ユーザーにとってはフレンドリーではありません。
この作品では、複数のスケッチやビュー情報を入力することなく、単一のフリーハンド スケッチのみを使用して 3D モデリングを実行する、新しいエンドツーエンドのアプローチである Deep3DSketch+ を導入します。
具体的には、リアルタイムでの効率的な推論のための軽量生成ネットワークと、ストローク強化モジュール (SEM) を使用した構造認識型の敵対的トレーニング アプローチを導入して、構造情報をキャプチャし、高精度の現実的で詳細な形状構造の学習を促進します。
-忠実なパフォーマンス。
広範な実験により、合成データセットと実際のデータセットの両方に対する最先端 (SOTA) パフォーマンスによるアプローチの有効性が実証されました。

要約(オリジナル)

The rapid development of AR/VR brings tremendous demands for 3D content. While the widely-used Computer-Aided Design (CAD) method requires a time-consuming and labor-intensive modeling process, sketch-based 3D modeling offers a potential solution as a natural form of computer-human interaction. However, the sparsity and ambiguity of sketches make it challenging to generate high-fidelity content reflecting creators’ ideas. Precise drawing from multiple views or strategic step-by-step drawings is often required to tackle the challenge but is not friendly to novice users. In this work, we introduce a novel end-to-end approach, Deep3DSketch+, which performs 3D modeling using only a single free-hand sketch without inputting multiple sketches or view information. Specifically, we introduce a lightweight generation network for efficient inference in real-time and a structural-aware adversarial training approach with a Stroke Enhancement Module (SEM) to capture the structural information to facilitate learning of the realistic and fine-detailed shape structures for high-fidelity performance. Extensive experiments demonstrated the effectiveness of our approach with the state-of-the-art (SOTA) performance on both synthetic and real datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google