Segment Any 4D Gaussians

要約

XR/VRにおいて、実世界のモデリング、理解、再構築は非常に重要である。近年、3Dガウス・スプラッティング（3D-GS）手法は、3Dシーンのモデリングと理解において目覚ましい成功を示している。同様に、様々な4D表現が4D世界のダイナミクスを捉える能力を実証している。しかし、4D表現におけるセグメンテーションに焦点を当てた研究は少ない。本論文では、4Dガウシアンに基づいて4Dデジタル世界のあらゆるものをセグメンテーションする最初のフレームワークの1つであるSegment Any 4D Gaussians (SA4D)を提案する。SA4Dでは、ガウスドリフティングを処理するために効率的な時間的同一性特徴フィールドを導入し、ノイズの多い疎な入力から正確な同一性特徴を学習する可能性を持つ。さらに、アーチファクトを除去するための4次元セグメンテーション精密化処理を提案する。我々のSA4Dは、4Dガウシアンにおいて数秒以内に正確で高品質なセグメンテーションを達成し、高品質なマスクの除去、再色付け、合成、レンダリングの能力を示す。より多くのデモはhttps://jsxzs.github.io/sa4d/。

要約(オリジナル)

Modeling, understanding, and reconstructing the real world are crucial in XR/VR. Recently, 3D Gaussian Splatting (3D-GS) methods have shown remarkable success in modeling and understanding 3D scenes. Similarly, various 4D representations have demonstrated the ability to capture the dynamics of the 4D world. However, there is a dearth of research focusing on segmentation within 4D representations. In this paper, we propose Segment Any 4D Gaussians (SA4D), one of the first frameworks to segment anything in the 4D digital world based on 4D Gaussians. In SA4D, an efficient temporal identity feature field is introduced to handle Gaussian drifting, with the potential to learn precise identity features from noisy and sparse input. Additionally, a 4D segmentation refinement process is proposed to remove artifacts. Our SA4D achieves precise, high-quality segmentation within seconds in 4D Gaussians and shows the ability to remove, recolor, compose, and render high-quality anything masks. More demos are available at: https://jsxzs.github.io/sa4d/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL