An Optimization Framework to Enforce Multi-View Consistency for Texturing 3D Meshes

要約

事前学習されたテキストから画像へのモデルを用いた3Dメッシュのテクスチャリングにおける基本的な問題は、マルチビューの一貫性を確保することである。最新のアプローチでは、拡散モデルを用いてマルチビュー入力を集約するのが一般的であるが、集約ステップでの平均化操作によって生じるぼやけや、局所的な特徴の不一致が一般的な問題である。本論文では、マルチビューの一貫性を達成するために4つのステージで進行する最適化フレームワークを紹介する。具体的には、第1段階は、MV一貫拡散プロセスを用いて、予め定義された視点集合から2Dテクスチャの過完備集合を生成する。第2段階は、基礎となる3Dモデルをカバーしながら、相互に一貫性のあるビューのサブセットを選択する。半正定値プログラムを解くことによってこの目標を達成する方法を示す。第3段階は、選択されたビューを重複する領域にわたって整列させるために、非剛体整列を実行する。第4段階は、各メッシュ面と選択されたビューを関連付けるためにMRF問題を解く。特に、第3ステージと第4ステージは反復され、第4ステージで得られたカットは、カットに近い領域に焦点を当てるために第3ステージの非剛体アライメントを促す。実験結果は、我々のアプローチが質的にも量的にもベースラインアプローチを大幅に上回ることを示している。プロジェクトページ: https://aigc3d.github.io/ConsistenTex.

要約(オリジナル)

A fundamental problem in the texturing of 3D meshes using pre-trained text-to-image models is to ensure multi-view consistency. State-of-the-art approaches typically use diffusion models to aggregate multi-view inputs, where common issues are the blurriness caused by the averaging operation in the aggregation step or inconsistencies in local features. This paper introduces an optimization framework that proceeds in four stages to achieve multi-view consistency. Specifically, the first stage generates an over-complete set of 2D textures from a predefined set of viewpoints using an MV-consistent diffusion process. The second stage selects a subset of views that are mutually consistent while covering the underlying 3D model. We show how to achieve this goal by solving semi-definite programs. The third stage performs non-rigid alignment to align the selected views across overlapping regions. The fourth stage solves an MRF problem to associate each mesh face with a selected view. In particular, the third and fourth stages are iterated, with the cuts obtained in the fourth stage encouraging non-rigid alignment in the third stage to focus on regions close to the cuts. Experimental results show that our approach significantly outperforms baseline approaches both qualitatively and quantitatively. Project page: https://aigc3d.github.io/ConsistenTex.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL