StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting

要約

StyleGaussian を紹介します。これは、あらゆる画像のスタイルを 10 フレーム/秒 (fps) で 3D シーンに瞬時に転送できる、新しい 3D スタイル転送技術です。
StyleGaussian は、3D ガウス スプラッティング (3DGS) を利用して、リアルタイム レンダリング能力とマルチビューの一貫性を損なうことなくスタイルの転送を実現します。
埋め込み、転送、デコードの 3 つのステップで瞬時にスタイル転送を実現します。
最初に、2D VGG シーンの特徴が再構築された 3D ガウスに埋め込まれます。
次に、埋め込まれた特徴が参照スタイル画像に従って変換されます。
最後に、変換された特徴は様式化された RGB にデコードされます。
StyleGaussian には 2 つの斬新なデザインがあります。
1 つ目は、最初に低次元の特徴をレンダリングし、次に VGG 特徴を埋め込みながら高次元の特徴にマッピングする効率的な特徴レンダリング戦略です。
メモリ消費量が大幅に削減され、3DGS がメモリを大量に消費する高次元の機能をレンダリングできるようになります。
2 つ目は、K 最近傍ベースの 3D CNN です。
様式化された特徴のデコーダとして機能するため、厳密なマルチビューの一貫性を損なう 2D CNN 操作が排除されます。
広範な実験により、StyleGaussian がリアルタイム レンダリングと厳密なマルチビューの一貫性を維持しながら、優れたスタイル化品質で即時 3D スタイル化を実現できることが示されました。
プロジェクトページ：https://kunhao-liu.github.io/StyleGaussian/

要約(オリジナル)

We introduce StyleGaussian, a novel 3D style transfer technique that allows instant transfer of any image’s style to a 3D scene at 10 frames per second (fps). Leveraging 3D Gaussian Splatting (3DGS), StyleGaussian achieves style transfer without compromising its real-time rendering ability and multi-view consistency. It achieves instant style transfer with three steps: embedding, transfer, and decoding. Initially, 2D VGG scene features are embedded into reconstructed 3D Gaussians. Next, the embedded features are transformed according to a reference style image. Finally, the transformed features are decoded into the stylized RGB. StyleGaussian has two novel designs. The first is an efficient feature rendering strategy that first renders low-dimensional features and then maps them into high-dimensional features while embedding VGG features. It cuts the memory consumption significantly and enables 3DGS to render the high-dimensional memory-intensive features. The second is a K-nearest-neighbor-based 3D CNN. Working as the decoder for the stylized features, it eliminates the 2D CNN operations that compromise strict multi-view consistency. Extensive experiments show that StyleGaussian achieves instant 3D stylization with superior stylization quality while preserving real-time rendering and strict multi-view consistency. Project page: https://kunhao-liu.github.io/StyleGaussian/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google