DragD3D: Realistic Mesh Editing with Rigidity Control Driven by 2D Diffusion Priors

要約

メッシュの直接編集と変形は、ジオメトリモデリングとアニメーションのパイプラインにおける重要なコンポーネントです。メッシュ編集方法は、一般的に、ユーザが指定した頂点制約と、頂点の残りの位置を決定する正則化子を組み合わせた最適化問題として構成されます。正則化の選択は、最終結果のリアリズムと信憑性の鍵となります。物理学や幾何学に基づく正則化器は、オブジェクトのグローバルなコンテキストやセマンティクスを意識しておらず、最近のディープラーニングの事前学習は、3Dオブジェクトの特定の変形クラスに限定されている。我々の主な貢献は、(1)変形の回転と伸張成分を切り離し、3D幾何学正則化と(2)最近導入されたDDS損失（拡散モデルからの1つに対するレンダリングされた2D画像の忠実度をスコア化する）を組み合わせた新しい最適化定式化に基づく、DragD3Dと呼ばれる頂点ベースのメッシュ編集方法である。このように、我々の変形法は、オブジェクトのクラスに制限されない、大域的に現実的な形状変形を実現する。我々の新しい定式化は、神経ヤコビアン場の変換を、回転成分と伸縮成分を明示的に分離して直接最適化する。最適化の目的関数は、DDSの近似勾配と幾何学的損失からの勾配を組み合わせ、頂点制約を満たす。三角形毎の明示的な変形制御と、変形の回転成分と伸縮成分の明示的な分離を可能にすることで、希望する大局的な形状変形に対するユーザーによる追加制御が可能になる。我々は、我々の変形を制御することで、オブジェクトの大域的なコンテキストを意識した現実的な形状変形が得られ、幾何学的正則化器を用いるよりも良い結果が得られることを示す。

要約(オリジナル)

Direct mesh editing and deformation are key components in the geometric modeling and animation pipeline. Mesh editing methods are typically framed as optimization problems combining user-specified vertex constraints with a regularizer that determines the position of the rest of the vertices. The choice of the regularizer is key to the realism and authenticity of the final result. Physics and geometry-based regularizers are not aware of the global context and semantics of the object, and the more recent deep learning priors are limited to a specific class of 3D object deformations. Our main contribution is a vertex-based mesh editing method called DragD3D based on (1) a novel optimization formulation that decouples the rotation and stretch components of the deformation and combines a 3D geometric regularizer with (2) the recently introduced DDS loss which scores the faithfulness of the rendered 2D image to one from a diffusion model. Thus, our deformation method achieves globally realistic shape deformation which is not restricted to any class of objects. Our new formulation optimizes directly the transformation of the neural Jacobian field explicitly separating the rotational and stretching components. The objective function of the optimization combines the approximate gradients of DDS and the gradients from the geometric loss to satisfy the vertex constraints. Additional user control over desired global shape deformation is made possible by allowing explicit per-triangle deformation control as well as explicit separation of rotational and stretching components of the deformation. We show that our deformations can be controlled to yield realistic shape deformations that are aware of the global context of the objects, and provide better results than just using geometric regularizers.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL