StyleSplat: 3D Object Style Transfer with Gaussian Splatting

要約

輝度分野の最近の進歩により、高品質の 3D アセットおよびシーンを作成するための新しい道が開かれました。
スタイル転送により、これらの 3D アセットを多様な芸術的スタイルで強化し、創造的な表現を変えることができます。
ただし、既存の技術では、多くの場合、スタイル転送が遅いか、特定のオブジェクトへのスタイル転送をローカライズすることができません。
参照スタイル イメージから 3D ガウスで表されるシーン内の 3D オブジェクトをスタイル設定する軽量の方法である StyleSplat を紹介します。
私たちのアプローチでは、まず、個々の 3D オブジェクトを共同セグメント化しながら、3D ガウス スプラッティングを使用してシーンのフォトリアリスティックな表現を学習します。
次に、最近傍特徴マッチング損失を使用して選択したオブジェクトのガウスを微調整し、その球面調和係数をスタイル イメージに合わせて一貫性と視覚的な魅力を確保します。
StyleSplat を使用すると、カスタマイズ可能なスタイルの転送と、それぞれが異なるスタイルを持つシーン内の複数のオブジェクトのローカライズされたスタイル設定を迅速に行うことができます。
さまざまな 3D シーンやスタイルにわたってその有効性を実証し、3D 作成における制御とカスタマイズの強化を紹介します。

要約(オリジナル)

Recent advancements in radiance fields have opened new avenues for creating high-quality 3D assets and scenes. Style transfer can enhance these 3D assets with diverse artistic styles, transforming creative expression. However, existing techniques are often slow or unable to localize style transfer to specific objects. We introduce StyleSplat, a lightweight method for stylizing 3D objects in scenes represented by 3D Gaussians from reference style images. Our approach first learns a photorealistic representation of the scene using 3D Gaussian splatting while jointly segmenting individual 3D objects. We then use a nearest-neighbor feature matching loss to finetune the Gaussians of the selected objects, aligning their spherical harmonic coefficients with the style image to ensure consistency and visual appeal. StyleSplat allows for quick, customizable style transfer and localized stylization of multiple objects within a scene, each with a different style. We demonstrate its effectiveness across various 3D scenes and styles, showcasing enhanced control and customization in 3D creation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google