LEMON: Localized Editing with Mesh Optimization and Neural Shaders

要約

実際の使用例では、ポリゴン メッシュの編集は新しいポリゴン メッシュを生成するよりも高速になる可能性がありますが、それでもユーザーにとっては困難で時間がかかる可能性があります。
この問題に対する既存のソリューションは、ジオメトリまたは新しいビューの合成という単一のタスクに焦点を当てる傾向があり、メッシュとビューの間で結果がバラバラになることがよくあります。
この研究では、ニューラルディファードシェーディングと局所的なメッシュ最適化を組み合わせたメッシュ編集パイプラインである LEMON を提案します。
私たちのアプローチは、編集のためにメッシュ内で最も重要な頂点を特定することから始まり、セグメンテーション モデルを利用してこれらの主要な領域に焦点を当てます。
オブジェクトのマルチビュー画像が与えられると、各ビューから法線マップとレンダリング画像を抽出しながら、ニューラル シェーダーとポリゴン メッシュを最適化します。
これらの出力をコンディショニング データとして使用することで、入力画像をテキストから画像への拡散モデルで編集し、メッシュを変形しながらデータセットを繰り返し更新します。
このプロセスにより、指定されたテキスト命令に従って編集されたポリゴン メッシュが生成され、最も重要な領域に焦点を当てながら、初期メッシュの幾何学的特徴が維持されます。
DTU データセットを使用してパイプラインを評価し、現在の最先端の方法よりも高速に細かく編集されたメッシュを生成することを実証しました。
コードと追加の結果は補足資料に含まれています。

要約(オリジナル)

In practical use cases, polygonal mesh editing can be faster than generating new ones, but it can still be challenging and time-consuming for users. Existing solutions for this problem tend to focus on a single task, either geometry or novel view synthesis, which often leads to disjointed results between the mesh and view. In this work, we propose LEMON, a mesh editing pipeline that combines neural deferred shading with localized mesh optimization. Our approach begins by identifying the most important vertices in the mesh for editing, utilizing a segmentation model to focus on these key regions. Given multi-view images of an object, we optimize a neural shader and a polygonal mesh while extracting the normal map and the rendered image from each view. By using these outputs as conditioning data, we edit the input images with a text-to-image diffusion model and iteratively update our dataset while deforming the mesh. This process results in a polygonal mesh that is edited according to the given text instruction, preserving the geometric characteristics of the initial mesh while focusing on the most significant areas. We evaluate our pipeline using the DTU dataset, demonstrating that it generates finely-edited meshes more rapidly than the current state-of-the-art methods. We include our code and additional results in the supplementary material.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google