ConsistentDreamer: View-Consistent Meshes Through Balanced Multi-View Gaussian Optimization

要約

拡散モデルの最近の進歩により、3D生成が大幅に改善され、具体化されたAIシミュレーションのために画像から生成された資産の使用が可能になりました。
ただし、イメージから3Dの問題の1対多くの性質は、一貫性のないコンテンツとビュー全体の品質のために使用を制限します。
以前のモデルは、ビューコンディショニングされた拡散前のビューをサンプリングすることにより、3Dモデルを最適化しますが、拡散モデルはビューの一貫性を保証することはできません。
代わりに、一貫性のあるドリーマーを提示します。ここでは、最初に一連の固定マルチビューの事前画像を生成し、スコア蒸留サンプリング（SDS）損失を介して別の拡散モデルでそれらの間にランダムビューをサンプリングします。
それにより、SDSの損失によって導かれたビュー間の矛盾を制限し、一貫した粗い形状を確保します。
各反復では、生成されたマルチビューの事前画像を使用して、高度なデテール再構成も使用します。
粗い形状と微細なディテールの最適化のバランスをとるために、各反復で自動的に更新された同性的な不確実性に基づいて、動的なタスク依存の重みを導入します。
さらに、メッシュ抽出のために表面を改良するために、不透明度、深さの歪み、および通常のアライメント損失を採用しています。
私たちの方法は、最先端と比較して、一貫性と視覚的品質をよりよく見ることができます。

要約(オリジナル)

Recent advances in diffusion models have significantly improved 3D generation, enabling the use of assets generated from an image for embodied AI simulations. However, the one-to-many nature of the image-to-3D problem limits their use due to inconsistent content and quality across views. Previous models optimize a 3D model by sampling views from a view-conditioned diffusion prior, but diffusion models cannot guarantee view consistency. Instead, we present ConsistentDreamer, where we first generate a set of fixed multi-view prior images and sample random views between them with another diffusion model through a score distillation sampling (SDS) loss. Thereby, we limit the discrepancies between the views guided by the SDS loss and ensure a consistent rough shape. In each iteration, we also use our generated multi-view prior images for fine-detail reconstruction. To balance between the rough shape and the fine-detail optimizations, we introduce dynamic task-dependent weights based on homoscedastic uncertainty, updated automatically in each iteration. Additionally, we employ opacity, depth distortion, and normal alignment losses to refine the surface for mesh extraction. Our method ensures better view consistency and visual quality compared to the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google