TreeSketchNet: From Sketch To 3D Tree Parameters Generation

要約

様式化されたスケッチからの非線形オブジェクトの3Dモデリングは、コンピューターグラフィックスの専門家にとっても課題です。
定型化されたスケッチからのオブジェクトパラメータの外挿は、非常に複雑で面倒な作業です。
本研究では、モデラーと3Dモデリングソフトウェアを仲介し、樹木の定型化されたスケッチを完全な3Dモデルに変換できるブローカーシステムを提案します。
入力スケッチは、正確または詳細である必要はなく、モデラーが3Dモデル化することを望むツリーの基本的なアウトラインを表すだけで済みます。
私たちのアプローチは、明確に定義されたディープニューラルネットワーク（DNN）アーキテクチャに基づいています。これは、たたみ込みに基づいてTreeSketchNet（TSN）と呼ばれ、モデリングソフトウェアで解釈できるWeberおよびPennパラメーターを生成して、
簡単なスケッチから始まるツリー。
トレーニングデータセットは、専用のBlenderモデリングソフトウェアアドオンによって生成されたWeber-Pennパラメーターに関連付けられた合成的に生成されたスケッチで構成されています。
提案された方法の正確さは、合成スケッチと手作りスケッチの両方でTSNをテストすることによって実証されます。
最後に、いくつかの特徴的な機能を備えた予測パラメーターのコヒーレンスを評価することにより、結果の定性分析を提供します。

要約(オリジナル)

3D modeling of non-linear objects from stylized sketches is a challenge even for experts in computer graphics. The extrapolation of objects parameters from a stylized sketch is a very complex and cumbersome task. In the present study, we propose a broker system that mediates between the modeler and the 3D modelling software and can transform a stylized sketch of a tree into a complete 3D model. The input sketches do not need to be accurate or detailed, and only need to represent a rudimentary outline of the tree that the modeler wishes to 3D-model. Our approach is based on a well-defined Deep Neural Network (DNN) architecture, we called TreeSketchNet (TSN), based on convolutions and able to generate Weber and Penn parameters that can be interpreted by the modelling software to generate a 3D model of a tree starting from a simple sketch. The training dataset consists of synthetically-generated sketches that are associated with Weber-Penn parameters generated by a dedicated Blender modelling software add-on. The accuracy of the proposed method is demonstrated by testing the TSN with both synthetic and hand-made sketches. Finally, we provide a qualitative analysis of our results, by evaluating the coherence of the predicted parameters with several distinguishing features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google