WaSt-3D: Wasserstein-2 Distance for Scene-to-Scene Stylization on 3D Gaussians

要約

スタイル転送技術は 2D 画像の様式化のために十分に開発されていますが、これらの方法を 3D シーンに拡張することは比較的未開発のままです。
既存のアプローチは、色とテクスチャの転送には熟練していますが、シーンのジオメトリを複製するのに苦労することがよくあります。
私たちの作業では、明示的なガウス スプラッティング (GS) 表現を利用し、アース ムーバーズ ディスタンス (EMD) を使用してスタイル シーンとコンテンツ シーンの間のガウス分布を直接照合します。
エントロピー正規化された Wasserstein-2 距離を使用することにより、変換で空間的な滑らかさが維持されることが保証されます。
さらに、シーンの様式化の問題をより小さなチャンクに分解して、効率を高めます。
このパラダイム シフトは、様式化を、潜在的な空間損失によって駆動される純粋な生成プロセスから、2 つのガウス表現間の分布の明示的な一致へと再構成します。
私たちの手法では、3D スタイル シーンの詳細をコンテンツ シーンに忠実に転写することで、高解像度の 3D スタイル化を実現します。
さらに、WaSt-3D は最適化ベースの技術のみに依存しているため、トレーニングを必要とせずに、さまざまなコンテンツやスタイルのシーンにわたって一貫した結果を提供します。
追加の結果とソース コードについては、プロジェクト ページ $\href{https://compvis.github.io/wast3d/}{https://compvis.github.io/wast3d/}$ を参照してください。

要約(オリジナル)

While style transfer techniques have been well-developed for 2D image stylization, the extension of these methods to 3D scenes remains relatively unexplored. Existing approaches demonstrate proficiency in transferring colors and textures but often struggle with replicating the geometry of the scenes. In our work, we leverage an explicit Gaussian Splatting (GS) representation and directly match the distributions of Gaussians between style and content scenes using the Earth Mover’s Distance (EMD). By employing the entropy-regularized Wasserstein-2 distance, we ensure that the transformation maintains spatial smoothness. Additionally, we decompose the scene stylization problem into smaller chunks to enhance efficiency. This paradigm shift reframes stylization from a pure generative process driven by latent space losses to an explicit matching of distributions between two Gaussian representations. Our method achieves high-resolution 3D stylization by faithfully transferring details from 3D style scenes onto the content scene. Furthermore, WaSt-3D consistently delivers results across diverse content and style scenes without necessitating any training, as it relies solely on optimization-based techniques. See our project page for additional results and source code: $\href{https://compvis.github.io/wast3d/}{https://compvis.github.io/wast3d/}$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google