SENS: Part-Aware Sketch-based Implicit Neural Shape Modeling

要約

抽象的なスケッチを含む手描きのスケッチから 3D モデルを生成および編集するための新しい方法である SENS を紹介します。
私たちの方法を使用すると、ユーザーは形状を迅速かつ簡単にスケッチし、そのスケッチを部分認識ニューラル暗黙的形状アーキテクチャの潜在空間にマッピングできます。
SENS はスケッチを分析し、そのパーツを ViT パッチ エンコーディングにエンコードし、その後、それらを 3D ニューラル暗黙的形状の編集に適した形状埋め込みに変換するトランスフォーマー デコーダーに送ります。
SENS は、直感的なスケッチベースの生成と編集を提供し、またユーザーのスケッチの意図を捉えて、抽象的で不正確なスケッチからでも、斬新で表現力豊かなさまざまな 3D 形状を生成することに成功しています。
さらに、SENS はパーツの再構築による改良をサポートしており、微妙な調整やアーティファクトの除去が可能です。
また、パーツベースのモデリング機能も提供しており、複数のスケッチのフィーチャを組み合わせて、より複雑でカスタマイズされた 3D 形状を作成できます。
客観的な指標評価基準とユーザー調査を使用して、最先端のモデルと比較したモデルの有効性を実証します。どちらも、中程度の抽象化レベルのスケッチで優れたパフォーマンスを示しています。
さらに、私たちの手法の直観的なスケッチベースの形状編集機能を紹介し、ユーザビリティ調査を通じてそれを検証します。

要約(オリジナル)

We present SENS, a novel method for generating and editing 3D models from hand-drawn sketches, including those of abstract nature. Our method allows users to quickly and easily sketch a shape, and then maps the sketch into the latent space of a part-aware neural implicit shape architecture. SENS analyzes the sketch and encodes its parts into ViT patch encoding, subsequently feeding them into a transformer decoder that converts them to shape embeddings suitable for editing 3D neural implicit shapes. SENS provides intuitive sketch-based generation and editing, and also succeeds in capturing the intent of the user’s sketch to generate a variety of novel and expressive 3D shapes, even from abstract and imprecise sketches. Additionally, SENS supports refinement via part reconstruction, allowing for nuanced adjustments and artifact removal. It also offers part-based modeling capabilities, enabling the combination of features from multiple sketches to create more complex and customized 3D shapes. We demonstrate the effectiveness of our model compared to the state-of-the-art using objective metric evaluation criteria and a user study, both indicating strong performance on sketches with a medium level of abstraction. Furthermore, we showcase our method’s intuitive sketch-based shape editing capabilities, and validate it through a usability study.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google