Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis

要約

動的シーンのノベルビュー合成と、すべての高密度シーン要素の 6 自由度 (6-DOF) 追跡のタスクに同時に対処する方法を提案します。
私たちは、微分可能なレンダリングを介して入力イメージを再構築するように最適化された 3D ガウスのコレクションとしてシーンをモデル化する最近の研究に触発された、合成による分析フレームワークに従います。
動的なシーンをモデル化するために、ガウスが持続的な色、不透明度、およびサイズを持つようにしながら、時間の経過とともに移動および回転できるようにします。
局所剛性制約を使用してガウスの動きと回転を正規化することにより、動的 3D ガウスが、その空間の回転を含め、物理空間の同じ領域を時間の経過とともに正確にモデル化することを示します。
高密度 6-DOF トラッキングと動的再構成は、入力としての対応やフローを必要とせずに、永続的な動的ビュー合成から自然に生成されます。
私たちは、一人称視点の合成、動的な構成シーンの合成、4D ビデオ編集など、当社の表現によって可能になる多数のダウンストリーム アプリケーションをデモンストレーションします。

要約(オリジナル)

We present a method that simultaneously addresses the tasks of dynamic scene novel-view synthesis and six degree-of-freedom (6-DOF) tracking of all dense scene elements. We follow an analysis-by-synthesis framework, inspired by recent work that models scenes as a collection of 3D Gaussians which are optimized to reconstruct input images via differentiable rendering. To model dynamic scenes, we allow Gaussians to move and rotate over time while enforcing that they have persistent color, opacity, and size. By regularizing Gaussians’ motion and rotation with local-rigidity constraints, we show that our Dynamic 3D Gaussians correctly model the same area of physical space over time, including the rotation of that space. Dense 6-DOF tracking and dynamic reconstruction emerges naturally from persistent dynamic view synthesis, without requiring any correspondence or flow as input. We demonstrate a large number of downstream applications enabled by our representation, including first-person view synthesis, dynamic compositional scene synthesis, and 4D video editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google