Connecting Consistency Distillation to Score Distillation for Text-to-3D Generation

要約

テキストから 3D への生成における最近の進歩により、生成品質は大幅に向上しましたが、詳細レベルの制限や忠実度の低さなどの問題は依然として残っており、さらなる改善が必要です。
それらの問題の本質を理解するために、私たちは、一貫性蒸留の理論とスコア蒸留を結び付けて、現在のスコア蒸留方法を徹底的に分析します。
分析を通じて得られた洞察に基づいて、これらの問題を軽減するために、3D ガウス スプラッティング (3DGS) と統合された最適化フレームワークである Guided Consistency Sampling (GCS) を提案します。
さらに、生成された 3D アセットのレンダリングされたビューで持続的な過飽和が観察されました。
実験の結果、最適化中に 3DGS で不要に蓄積された明るさが原因であることがわかりました。
この問題を軽減するために、3DGS レンダリングに Brightness-Equalized Generation (BEG) スキームを導入します。
実験結果は、私たちのアプローチが最先端の方法よりも詳細で忠実度の高い 3D アセットを生成することを示しています。
コードは https://github.com/LMozart/ECCV2024-GCS-BEG でリリースされています。

要約(オリジナル)

Although recent advancements in text-to-3D generation have significantly improved generation quality, issues like limited level of detail and low fidelity still persist, which requires further improvement. To understand the essence of those issues, we thoroughly analyze current score distillation methods by connecting theories of consistency distillation to score distillation. Based on the insights acquired through analysis, we propose an optimization framework, Guided Consistency Sampling (GCS), integrated with 3D Gaussian Splatting (3DGS) to alleviate those issues. Additionally, we have observed the persistent oversaturation in the rendered views of generated 3D assets. From experiments, we find that it is caused by unwanted accumulated brightness in 3DGS during optimization. To mitigate this issue, we introduce a Brightness-Equalized Generation (BEG) scheme in 3DGS rendering. Experimental results demonstrate that our approach generates 3D assets with more details and higher fidelity than state-of-the-art methods. The codes are released at https://github.com/LMozart/ECCV2024-GCS-BEG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google