Debiasing Scores and Prompts of 2D Diffusion for Robust Text-to-3D Generation

要約

タイトル: 相互バイアス除去によるロバストなテキストから3D生成に対する2D拡散の評価指標と刺激の除去

要約:
– 「Janus問題」としても知られるスコアが蒸留されたテキストから3D生成における視点の不一致問題は、2D拡散モデルの固有バイアスから生じ、3Dオブジェクトの非現実的な生成を引き起こす。
– 本研究では、スコアが蒸留されたテキストから3D生成を探求し、Janus問題の主要な原因を特定する。
– これらの調査結果に基づいて、ロバストなテキストから3D生成のために、スコア蒸留フレームワークの相互バイアスを除去するための2つのアプローチを提案する。
– 最初のアプローチであるスコア除去は、最適化プロセス中に2D拡散モデルによって推定されたスコアの切り捨て値を徐々に増加させることを含む。
– 2番目のアプローチであるプロンプト除去は、言語モデルを利用してユーザーのプロンプトと視点プロンプトの間に衝突する単語を識別し、視点プロンプトとオブジェクト空間のカメラ位置の不一致を調整することを含む。
– 実験結果は、バグを軽減し、刻々と変化する2D拡散モデルの信頼性と3Dオブジェクトの整合性との間の良好なトレードオフを達成し、現実感を高めるために、私たちの方法が有効であることを示している。

要約(オリジナル)

The view inconsistency problem in score-distilling text-to-3D generation, also known as the Janus problem, arises from the intrinsic bias of 2D diffusion models, which leads to the unrealistic generation of 3D objects. In this work, we explore score-distilling text-to-3D generation and identify the main causes of the Janus problem. Based on these findings, we propose two approaches to debias the score-distillation frameworks for robust text-to-3D generation. Our first approach, called score debiasing, involves gradually increasing the truncation value for the score estimated by 2D diffusion models throughout the optimization process. Our second approach, called prompt debiasing, identifies conflicting words between user prompts and view prompts utilizing a language model and adjusts the discrepancy between view prompts and object-space camera poses. Our experimental results show that our methods improve realism by significantly reducing artifacts and achieve a good trade-off between faithfulness to the 2D diffusion models and 3D consistency with little overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI