SENS: Sketch-based Implicit Neural Shape Modeling

要約

抽象的なものを含む手描きのスケッチから 3D モデルを生成および編集するための新しい方法である SENS を紹介します。
私たちの方法を使用すると、ユーザーは形状を迅速かつ簡単にスケッチし、そのスケッチを部分認識ニューラル暗黙的形状アーキテクチャの潜在空間にマッピングできます。
SENS はスケッチを分析し、そのパーツを ViT パッチ エンコーディングにエンコードしてから、それらをトランスフォーマー デコーダに送り、3D ニューラル暗黙的形状の編集に適した形状埋め込みに変換します。
SENS は、直感的なスケッチベースの生成と編集を提供するだけでなく、ユーザーのスケッチの意図を捉えることに優れ、抽象的なスケッチからでも、斬新で表現力豊かなさまざまな 3D 形状を生成します。
私たちは、客観的な指標評価基準と決定的なユーザー調査を使用して、最先端のモデルと比較したモデルの有効性を実証します。どちらも、中程度の抽象化レベルのスケッチで強力なパフォーマンスを示しています。
さらに、直感的なスケッチベースの形状編集機能を紹介します。

要約(オリジナル)

We present SENS, a novel method for generating and editing 3D models from hand-drawn sketches, including those of an abstract nature. Our method allows users to quickly and easily sketch a shape, and then maps the sketch into the latent space of a part-aware neural implicit shape architecture. SENS analyzes the sketch and encodes its parts into ViT patch encoding, then feeds them into a transformer decoder that converts them to shape embeddings, suitable for editing 3D neural implicit shapes. SENS not only provides intuitive sketch-based generation and editing, but also excels in capturing the intent of the user’s sketch to generate a variety of novel and expressive 3D shapes, even from abstract sketches. We demonstrate the effectiveness of our model compared to the state-of-the-art using objective metric evaluation criteria and a decisive user study, both indicating strong performance on sketches with a medium level of abstraction. Furthermore, we showcase its intuitive sketch-based shape editing capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google