ZDySS — Zero-Shot Dynamic Scene Stylization using Gaussian Splatting

要約

サンプル画像に基づいてダイナミックなシーンをスタイル化することは、ゲーム、映画製作、拡張現実や仮想現実など、さまざまな現実世界のアプリケーションにとって重要です。
ただし、空間的次元と時間的次元の両方にわたって一貫した様式化を達成することは依然として大きな課題です。
既存の手法のほとんどは静的シーン向けに設計されており、スタイル イメージごとに最適化プロセスが必要になることが多く、適応性が制限されています。
動的シーン向けのゼロショット スタイライゼーション フレームワークである ZDySS を導入し、推論時にモデルをこれまで見たことのないスタイル画像に一般化できるようにします。
私たちのアプローチでは、シーン表現にガウス スプラッティングを採用し、各ガウスを学習された特徴ベクトルにリンクし、特定のビューとタイムスタンプの特徴マップをレンダリングします。
レンダリングされた特徴マップの代わりに学習された特徴ベクトルにスタイル転送を適用することで、フレーム間の時空間の一貫性が強化されます。
私たちの手法は、現実世界の動的なシーンでのテストで最先端のベースラインを上回る優れたパフォーマンスと一貫性を実証し、実用的なアプリケーションにとって堅牢なソリューションとなります。

要約(オリジナル)

Stylizing a dynamic scene based on an exemplar image is critical for various real-world applications, including gaming, filmmaking, and augmented and virtual reality. However, achieving consistent stylization across both spatial and temporal dimensions remains a significant challenge. Most existing methods are designed for static scenes and often require an optimization process for each style image, limiting their adaptability. We introduce ZDySS, a zero-shot stylization framework for dynamic scenes, allowing our model to generalize to previously unseen style images at inference. Our approach employs Gaussian splatting for scene representation, linking each Gaussian to a learned feature vector that renders a feature map for any given view and timestamp. By applying style transfer on the learned feature vectors instead of the rendered feature map, we enhance spatio-temporal consistency across frames. Our method demonstrates superior performance and coherence over state-of-the-art baselines in tests on real-world dynamic scenes, making it a robust solution for practical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google