DreamBeast: Distilling 3D Fantastical Animals with Part-Aware Knowledge Transfer

要約

DreamBeast は、個別のパーツで構成される幻想的な 3D 動物アセットを生成するためのスコア蒸留サンプリング (SDS) に基づく新しい方法です。
既存の SDS 手法は、テキストから画像への拡散モデルにおけるパーツレベルのセマンティクスの理解が限られているため、この生成タスクに苦労することがよくあります。
Stable Diffusion 3 などの最近の拡散モデルは、部品レベルの理解をより良く示していますが、法外に遅く、単一ビューの拡散モデルに関連するその他の一般的な問題が発生します。
DreamBeast は、新しい部分認識知識伝達メカニズムを通じてこの制限を克服します。
生成された各アセットについて、Stable Diffusion 3 モデルからパーツレベルの知識を 3D Part-Affinity 暗黙的表現に効率的に抽出します。
これにより、任意のカメラ ビューからパーツ アフィニティ マップを即座に生成できるようになり、SDS 中にこれを使用してマルチビュー拡散モデルのガイダンスを調整し、幻想的な動物の 3D アセットを作成できます。
DreamBeast は、広範な定量的および定性的評価によって実証されているように、計算オーバーヘッドを削減しながら、ユーザー指定のパーツ構成で生成された 3D クリーチャーの品質を大幅に向上させます。

要約(オリジナル)

We present DreamBeast, a novel method based on score distillation sampling (SDS) for generating fantastical 3D animal assets composed of distinct parts. Existing SDS methods often struggle with this generation task due to a limited understanding of part-level semantics in text-to-image diffusion models. While recent diffusion models, such as Stable Diffusion 3, demonstrate a better part-level understanding, they are prohibitively slow and exhibit other common problems associated with single-view diffusion models. DreamBeast overcomes this limitation through a novel part-aware knowledge transfer mechanism. For each generated asset, we efficiently extract part-level knowledge from the Stable Diffusion 3 model into a 3D Part-Affinity implicit representation. This enables us to instantly generate Part-Affinity maps from arbitrary camera views, which we then use to modulate the guidance of a multi-view diffusion model during SDS to create 3D assets of fantastical animals. DreamBeast significantly enhances the quality of generated 3D creatures with user-specified part compositions while reducing computational overhead, as demonstrated by extensive quantitative and qualitative evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google