Debiasing Scores and Prompts of 2D Diffusion for Robust Text-to-3D Generation

要約

ヤヌス問題としても知られる、テキストから 3D への生成をスコア抽出する際のビューの不一致の問題は、2D 拡散モデルの本質的な偏りから発生し、3D オブジェクトの非現実的な生成につながります。
この作業では、スコアを抽出してテキストを 3D に変換する方法を探り、ヤヌス問題の主な原因を特定します。
これらの調査結果に基づいて、堅牢なテキストから 3D への生成のためのスコア蒸留フレームワークの偏りをなくすための 2 つのアプローチを提案します。
スコア デバイアスと呼ばれる最初のアプローチでは、最適化プロセス全体で 2D 拡散モデルによって推定されたスコアの切り捨て値を徐々に増やします。
プロンプト デバイアスと呼ばれる 2 番目のアプローチは、言語モデルを利用してユーザー プロンプトとビュー プロンプトの間で競合する単語を識別し、ビュー プロンプトとオブジェクト空間のカメラ ポーズの間の不一致を調整します。
私たちの実験結果は、私たちの方法がアーティファクトを大幅に削減することでリアリズムを改善し、2D 拡散モデルへの忠実さと 3D 一貫性との間の適切なトレードオフをわずかなオーバーヘッドで達成することを示しています。

要約(オリジナル)

The view inconsistency problem in score-distilling text-to-3D generation, also known as the Janus problem, arises from the intrinsic bias of 2D diffusion models, which leads to the unrealistic generation of 3D objects. In this work, we explore score-distilling text-to-3D generation and identify the main causes of the Janus problem. Based on these findings, we propose two approaches to debias the score-distillation frameworks for robust text-to-3D generation. Our first approach, called score debiasing, involves gradually increasing the truncation value for the score estimated by 2D diffusion models throughout the optimization process. Our second approach, called prompt debiasing, identifies conflicting words between user prompts and view prompts utilizing a language model and adjusts the discrepancy between view prompts and object-space camera poses. Our experimental results show that our methods improve realism by significantly reducing artifacts and achieve a good trade-off between faithfulness to the 2D diffusion models and 3D consistency with little overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google