GuardSplat: Efficient and Robust Watermarking for 3D Gaussian Splatting

要約

3D ガウス スプラッティング (3DGS) は最近、さまざまなアプリケーション向けの印象的なアセットを作成しました。
ただし、セキュリティ、容量、不可視性を考慮すると、既存の透かし手法は 3DGS に適していないため、これらの資産の著作権は十分に保護されていません。
さらに、これらの方法では最適化に数時間、場合によっては数日かかることが多く、アプリケーション シナリオが制限されます。
このペーパーでは、3DGS アセットの著作権を効果的に保護する革新的で効率的なフレームワークである GuardSplat を提案します。
具体的には、1) まず、メッセージ デコーダをトレーニングするための CLIP ガイド付きメッセージ デカップリング最適化モジュールを提案します。これは、CLIP の位置合わせ機能と豊富な表現を活用して、最小限の最適化コストで高い抽出精度を達成し、優れた機能と効率を実現します。
2) 次に、3DGS 用に調整された球面調和関数認識 (SH 認識) メッセージ埋め込みモジュールを提案します。これは、元の 3D 構造を維持しながら、一連の SH オフセットを使用して、各 3D ガウスの SH 特徴にメッセージをシームレスに埋め込みます。
。
これにより、忠実度のトレードオフを最小限に抑えながら 3DGS アセットに透かしを入れることができ、悪意のあるユーザーがモデル ファイルからメッセージを削除するのを防ぎ、非表示性とセキュリティの要求を満たします。
3) さまざまな視覚的歪みに対する堅牢性を向上させるために、歪み防止メッセージ抽出モジュールをさらに提案します。
広範な実験により、GuardSplat が最先端の手法を上回り、高速な最適化速度を実現することが実証されました。

要約(オリジナル)

3D Gaussian Splatting (3DGS) has recently created impressive assets for various applications. However, the copyright of these assets is not well protected as existing watermarking methods are not suited for 3DGS considering security, capacity, and invisibility. Besides, these methods often require hours or even days for optimization, limiting the application scenarios. In this paper, we propose GuardSplat, an innovative and efficient framework that effectively protects the copyright of 3DGS assets. Specifically, 1) We first propose a CLIP-guided Message Decoupling Optimization module for training the message decoder, leveraging CLIP’s aligning capability and rich representations to achieve a high extraction accuracy with minimal optimization costs, presenting exceptional capability and efficiency. 2) Then, we propose a Spherical-harmonic-aware (SH-aware) Message Embedding module tailored for 3DGS, which employs a set of SH offsets to seamlessly embed the message into the SH features of each 3D Gaussian while maintaining the original 3D structure. It enables the 3DGS assets to be watermarked with minimal fidelity trade-offs and prevents malicious users from removing the messages from the model files, meeting the demands for invisibility and security. 3) We further propose an Anti-distortion Message Extraction module to improve robustness against various visual distortions. Extensive experiments demonstrate that GuardSplat outperforms the state-of-the-art methods and achieves fast optimization speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google