Geometry-Aware Score Distillation via 3D Consistent Noising and Gradient Consistency Modeling

要約

スコア蒸留サンプリング (SDS) は、事前トレーニングされた 2D 拡散モデルからのスコアを 3D 表現に蒸留する方法論であり、最近、テキストから 3D への生成タスクに大きな進歩をもたらしました。
ただし、このアプローチでも、ヤヌス問題などの重大な幾何学的不一致の問題に依然として直面しています。
このような不一致の問題は、さまざまな視点から予測された 2D スコア間のマルチビューの不一致によって引き起こされる可能性があるという仮説から出発し、3D の一貫性、したがってジオメトリ認識を SDS プロセスに組み込むためのシンプルで汎用的なプラグ アンド プレイ フレームワークである GSD を導入します。
私たちの方法論は 3 つのコンポーネントで構成されています。標準的なガウス分布に完全に従う 3D 一貫性のあるノイズ マップを生成するように設計された 3D 一貫性ノイズ、異なる視点の予測勾配間の対応関係を特定するためのジオメトリベースの勾配ワーピング、および最適化するための新しい勾配一貫性損失です。
より一貫したグラデーションを生成するためのシーン ジオメトリ。
私たちの方法がパフォーマンスを大幅に向上させ、最小限の計算コストでテキストから 3D への生成タスクにおける幾何学的不一致の問題にうまく対処し、既存のスコア蒸留ベースのモデルと互換性があることを実証します。
私たちのプロジェクト ページは https://ku-cvlab.github.io/GSD/ から入手できます。

要約(オリジナル)

Score distillation sampling (SDS), the methodology in which the score from pretrained 2D diffusion models is distilled into 3D representation, has recently brought significant advancements in text-to-3D generation task. However, this approach is still confronted with critical geometric inconsistency problems such as the Janus problem. Starting from a hypothesis that such inconsistency problems may be induced by multiview inconsistencies between 2D scores predicted from various viewpoints, we introduce GSD, a simple and general plug-and-play framework for incorporating 3D consistency and therefore geometry awareness into the SDS process. Our methodology is composed of three components: 3D consistent noising, designed to produce 3D consistent noise maps that perfectly follow the standard Gaussian distribution, geometry-based gradient warping for identifying correspondences between predicted gradients of different viewpoints, and novel gradient consistency loss to optimize the scene geometry toward producing more consistent gradients. We demonstrate that our method significantly improves performance, successfully addressing the geometric inconsistency problems in text-to-3D generation task with minimal computation cost and being compatible with existing score distillation-based models. Our project page is available at https://ku-cvlab.github.io/GSD/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google