CLIP-Sculptor: Zero-Shot Generation of High-Fidelity and Diverse Shapes from Natural Language

要約

タイトル：CLIP-Sculptor：自然言語から高品質かつ多様な形状をゼロショットで生成

要約：
– 自然言語を使用して3D形状を生成編集できることが示されていますが、これらの方法は限られた精度と多様性で形状を生成します。
– 著者らは、「CLIP-Sculptor」を提案し、(テキスト、形状)のペアのトレーニングが必要なく、高精度かつ多様な3D形状を生成できるように制約を解決する方法を提供します。
– 「CLIP-Sculptor」は、低次元潜在空間で最初に生成し、形状精度を改善するためにより高い解像度にアップスケーリングするマルチ解像度アプローチを使用してこれを達成します。
– 形状多様性を改善するために、独自のtransformerを使用してCLIPの画像テキスト埋め込み空間に従属した離散潜在空間をモデル化します。
– また、改善されたクラシファフリーガイダンスの新しいバリアントも提案しており、精度-多様性のトレードオフを改善します。
– 最後に、CLIP-Sculptorが最先端のベースラインを上回ることを示す広範な実験を行います。コードは https://ivl.cs.brown.edu/#/projects/clip-sculptor　で入手可能です。

要約(オリジナル)

Recent works have demonstrated that natural language can be used to generate and edit 3D shapes. However, these methods generate shapes with limited fidelity and diversity. We introduce CLIP-Sculptor, a method to address these constraints by producing high-fidelity and diverse 3D shapes without the need for (text, shape) pairs during training. CLIP-Sculptor achieves this in a multi-resolution approach that first generates in a low-dimensional latent space and then upscales to a higher resolution for improved shape fidelity. For improved shape diversity, we use a discrete latent space which is modeled using a transformer conditioned on CLIP’s image-text embedding space. We also present a novel variant of classifier-free guidance, which improves the accuracy-diversity trade-off. Finally, we perform extensive experiments demonstrating that CLIP-Sculptor outperforms state-of-the-art baselines. The code is available at https://ivl.cs.brown.edu/#/projects/clip-sculptor.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI