DreamCouple: Exploring High Quality Text-to-3D Generation Via Rectified Flow

要約

3D モデルのトレーニングの前に、事前トレーニング済みのテキストから画像へのモデル拡散モデルを活用するスコア蒸留サンプリング (SDS) は、大きな成功を収めています。
現在、フローベースの普及モデルは世代を超えて新しいトレンドとなっています。
しかし、SDS を 3D 生成におけるフローベースの拡散モデルに適応させることは、まだ解明されていません。
私たちの仕事は、このギャップを埋めることを目的としています。
この論文では、SDS を整流流に適用し、この新しいフレームワークの下で過剰平滑化の問題を再検討します。
この問題は、モデルが複数の ODE 軌道の平均を学習していることが原因であると説明できます。
次に、ランダムにノイズをサンプリングする代わりに、整流された流れモデルを使用して結合ノイズを見つける DreamCouple を提案します。
Unique couple Matching (UCM) 損失により、モデルがさまざまな軌道を学習するように誘導され、過度の平滑化の問題が解決されます。
私たちはこの方法を NeRF と 3D ガウス スプラッティングの両方に適用し、最先端のパフォーマンスを実現します。
また、NeRF の初期化の問題やトレーニング コンバージェンスの高速化など、その他の興味深い未解決の疑問も特定します。
私たちのコードは間もなくリリースされる予定です。

要約(オリジナル)

The Score Distillation Sampling (SDS), which exploits pretrained text-to-image model diffusion models as priors to 3D model training, has achieved significant success. Currently, the flow-based diffusion model has become a new trend for generations. Yet, adapting SDS to flow-based diffusion models in 3D generation remains unexplored. Our work is aimed to bridge this gap. In this paper, we adapt SDS to rectified flow and re-examine the over-smoothing issue under this novel framework. The issue can be explained that the model learns an average of multiple ODE trajectories. Then we propose DreamCouple, which instead of randomly sampling noise, uses a rectified flow model to find the coupled noise. Its Unique Couple Matching (UCM) loss guides the model to learn different trajectories and thus solves the over-smoothing issue. We apply our method to both NeRF and 3D Gaussian splatting and achieve state-of-the-art performances. We also identify some other interesting open questions such as initialization issues for NeRF and faster training convergence. Our code will be released soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google