ArtNVG: Content-Style Separated Artistic Neighboring-View Gaussian Stylization

要約

ターゲットスタイルを備えた3Dシーンの映画やゲーム業界からの需要が高まるにつれて、高度な3Dスタイリゼーション技術の重要性が増加します。
ただし、最近の方法は、様式化されたシーン全体で色とテクスチャの局所的な一貫性を維持するのに苦労しています。これは、美的一貫性を維持するために不可欠です。
この問題を解決するために、このペーパーでは、リファレンススタイルの画像を活用することで様式化された3Dシーンを効率的に生成する革新的な3DスタイリゼーションフレームワークであるArtNVGを紹介します。
3Dガウススプラッティング（3DG）に基づいて構築されたARTNVGは、高い再建の品質を支持しながら、迅速な最適化とレンダリングを実現します。
私たちのフレームワークは、コンテンツスタイルの分離制御と注意ベースの隣接ビューアライメントという2つの重要なテクニックを組み込むことにより、高品質の3Dスタイル化を実現します。
コンテンツスタイルの分離制御は、CSGOモデルとタイル制御ネットを使用してコンテンツとスタイルコントロールを分離し、情報の漏れのリスクを減らします。
同時に、注意ベースの隣接ビューアライメントにより、隣接するビュー全体でローカルな色とテクスチャの一貫性が保証され、視覚品質が大幅に向上します。
広範な実験では、ARTNVGが既存の方法を上回り、コンテンツの保存、スタイルの調整、局所的な一貫性をもたらす優れた結果を提供することを検証します。

要約(オリジナル)

As demand from the film and gaming industries for 3D scenes with target styles grows, the importance of advanced 3D stylization techniques increases. However, recent methods often struggle to maintain local consistency in color and texture throughout stylized scenes, which is essential for maintaining aesthetic coherence. To solve this problem, this paper introduces ArtNVG, an innovative 3D stylization framework that efficiently generates stylized 3D scenes by leveraging reference style images. Built on 3D Gaussian Splatting (3DGS), ArtNVG achieves rapid optimization and rendering while upholding high reconstruction quality. Our framework realizes high-quality 3D stylization by incorporating two pivotal techniques: Content-Style Separated Control and Attention-based Neighboring-View Alignment. Content-Style Separated Control uses the CSGO model and the Tile ControlNet to decouple the content and style control, reducing risks of information leakage. Concurrently, Attention-based Neighboring-View Alignment ensures consistency of local colors and textures across neighboring views, significantly improving visual quality. Extensive experiments validate that ArtNVG surpasses existing methods, delivering superior results in content preservation, style alignment, and local consistency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google