Style3D: Attention-guided Multi-view Style Transfer for 3D Object Generation

要約

コンテンツ画像とスタイル画像からスタイライズされた 3D オブジェクトを生成する新しいアプローチ、Style3D を紹介します。ケースやスタイルに特化したトレーニングを必要とする従来の手法とは異なり、Style3D は 3D オブジェクトのスタイライズを即座に行うことができます。我々の重要な洞察は、3Dオブジェクトのスタイライゼーションは、マルチビューデュアルフィーチャーアライメントとスパースビュー空間再構成の2つの相互接続されたプロセスに分解できるということです。我々は、コンテンツスタイルのペアからマルチビュースタイライゼーションを達成するための注意誘導技術であるマルチフュージョンアテンションを紹介します。具体的には、コンテンツ画像からのクエリ特徴は、複数のビューにわたって幾何学的な一貫性を維持し、スタイル画像からのキーと値の特徴は、スタイル転送をガイドするために使用されます。この二重特徴アライメントにより、空間的な一貫性とスタイル的な忠実性がマルチビュー画像にわたって維持されることが保証される。最後に、大規模な3D再構成モデルを導入し、首尾一貫した様式化された3Dオブジェクトを生成します。複数のビューにまたがる構造的特徴とスタイリスティック特徴の相互作用を確立することで、我々のアプローチは全体的な 3D スタイライズプロセスを可能にします。広範な実験により、Style3D はスタイルに一貫性のある 3D アセットを生成するための、より柔軟でスケーラブルなソリューションを提供し、計算効率とビジュアル品質の両方において既存の手法を凌駕することが実証されています。

要約(オリジナル)

We present Style3D, a novel approach for generating stylized 3D objects from a content image and a style image. Unlike most previous methods that require case- or style-specific training, Style3D supports instant 3D object stylization. Our key insight is that 3D object stylization can be decomposed into two interconnected processes: multi-view dual-feature alignment and sparse-view spatial reconstruction. We introduce MultiFusion Attention, an attention-guided technique to achieve multi-view stylization from the content-style pair. Specifically, the query features from the content image preserve geometric consistency across multiple views, while the key and value features from the style image are used to guide the stylistic transfer. This dual-feature alignment ensures that spatial coherence and stylistic fidelity are maintained across multi-view images. Finally, a large 3D reconstruction model is introduced to generate coherent stylized 3D objects. By establishing an interplay between structural and stylistic features across multiple views, our approach enables a holistic 3D stylization process. Extensive experiments demonstrate that Style3D offers a more flexible and scalable solution for generating style-consistent 3D assets, surpassing existing methods in both computational efficiency and visual quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL