Repaint123: Fast and High-quality One Image to 3D Generation with Progressive Controllable 2D Repainting

要約

最近の 1 つの画像から 3D の生成方法には、スコア蒸留サンプリング (SDS) が採用されることが一般的です。
素晴らしい結果にもかかわらず、マルチビューの不一致、過飽和および過度に平滑化されたテクスチャ、生成速度の遅さなど、複数の欠点があります。
これらの欠点に対処するために、マルチビューのバイアスとテクスチャの劣化を軽減し、生成プロセスを高速化する Repaint123 を紹介します。
中心的なアイデアは、2D 拡散モデルの強力な画像生成機能と再描画戦略のテクスチャ位置合わせ機能を組み合わせて、一貫性のある高品質のマルチビュー画像を生成することです。
さらに、再描画プロセスで生成される画質を向上させるために、オーバーラップ領域の可視性を考慮した適応型再描画強度を提案します。
生成された高品質で一貫性のあるマルチビュー画像により、単純な平均二乗誤差 (MSE) 損失を使用して 3D コンテンツを高速に生成できます。
私たちは広範な実験を実施し、私たちの方法がマルチビューの一貫性と細かいテクスチャを備えた高品質の 3D コンテンツをゼロから 2 分で生成する優れた能力を備えていることを示しました。
コードは https://github.com/junwuzhang19/repaint123 にあります。

要約(オリジナル)

Recent one image to 3D generation methods commonly adopt Score Distillation Sampling (SDS). Despite the impressive results, there are multiple deficiencies including multi-view inconsistency, over-saturated and over-smoothed textures, as well as the slow generation speed. To address these deficiencies, we present Repaint123 to alleviate multi-view bias as well as texture degradation and speed up the generation process. The core idea is to combine the powerful image generation capability of the 2D diffusion model and the texture alignment ability of the repainting strategy for generating high-quality multi-view images with consistency. We further propose visibility-aware adaptive repainting strength for overlap regions to enhance the generated image quality in the repainting process. The generated high-quality and multi-view consistent images enable the use of simple Mean Square Error (MSE) loss for fast 3D content generation. We conduct extensive experiments and show that our method has a superior ability to generate high-quality 3D content with multi-view consistency and fine textures in 2 minutes from scratch. Code is at https://github.com/junwuzhang19/repaint123.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google