FreeGaussian: Guidance-free Controllable 3D Gaussian Splats with Flow Derivatives

要約

単眼ビデオから制御可能なガウス スプラットを再構築することは、本質的に制約が不十分であるため、困難な作業です。
広く採用されているアプローチは、追加のマスクと制御信号の注釈による複雑な相互作用を監視し、現実世界のアプリケーションを制限します。
この論文では、新しい動的ガウス制約を使用してオプティカル フローとカメラの動きから動的ガウスの動きを数学的に導出する、FreeGaussian と呼ばれるアノテーション ガイダンス フリーの方法を提案します。
2D フローと 3D ガウス動的制御の間の接続を確立することにより、私たちの方法は自己教師ありの最適化とフロー事前分布からの動的ガウス運動の連続性を可能にします。
さらに、3D ガウス軌道で状態を表す 3D 球面ベクトル制御スキームを導入することで、複雑な 1D 制御信号計算の必要性を排除し、制御可能なガウス モデリングを簡素化します。
広範な実験による定量的および定性的評価により、当社のメソッドの最先端の視覚性能と制御能力が実証されています。
プロジェクトページ: https://freegaussian.github.io

要約(オリジナル)

Reconstructing controllable Gaussian splats from monocular video is a challenging task due to its inherently insufficient constraints. Widely adopted approaches supervise complex interactions with additional masks and control signal annotations, limiting their real-world applications. In this paper, we propose an annotation guidance-free method, dubbed FreeGaussian, that mathematically derives dynamic Gaussian motion from optical flow and camera motion using novel dynamic Gaussian constraints. By establishing a connection between 2D flows and 3D Gaussian dynamic control, our method enables self-supervised optimization and continuity of dynamic Gaussian motions from flow priors. Furthermore, we introduce a 3D spherical vector controlling scheme, which represents the state with a 3D Gaussian trajectory, thereby eliminating the need for complex 1D control signal calculations and simplifying controllable Gaussian modeling. Quantitative and qualitative evaluations on extensive experiments demonstrate the state-of-the-art visual performance and control capability of our method. Project page: https://freegaussian.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google