CoGS: Controllable Gaussian Splatting

要約

多関節オブジェクトの 3D 構造をキャプチャして再アニメーション化するには、大きな障壁があります。
一方で、広範囲に調整されたマルチビュー設定を必要とする方法は、法外に複雑でリソースを大量に消費するため、実際の適用性が制限されます。
一方、単一カメラの Neural Radiance Fields (NeRF) は、より合理化されたアプローチを提供しますが、トレーニングとレンダリングのコストが過度にかかります。
3D ガウス スプラッティングは適切な代替手段となりますが、その理由は 2 つあります。
第一に、3D 動的ガウスの既存の方法には同期したマルチビュー カメラが必要であり、第二に、動的シナリオにおける制御性が欠如しています。
制御可能なガウス スプラッティングの手法である CoGS を紹介します。これにより、シーン要素の直接操作が可能になり、制御信号を事前に計算する必要がなく、動的シーンのリアルタイム制御が可能になります。
難易度の異なる動的オブジェクトを含む合成データセットと現実世界のデータセットの両方を使用して CoGS を評価しました。
私たちの評価では、視覚的な忠実性の点で、CoGS は既存の動的で制御可能なニューラル表現を常に上回っていました。

要約(オリジナル)

Capturing and re-animating the 3D structure of articulated objects present significant barriers. On one hand, methods requiring extensively calibrated multi-view setups are prohibitively complex and resource-intensive, limiting their practical applicability. On the other hand, while single-camera Neural Radiance Fields (NeRFs) offer a more streamlined approach, they have excessive training and rendering costs. 3D Gaussian Splatting would be a suitable alternative but for two reasons. Firstly, existing methods for 3D dynamic Gaussians require synchronized multi-view cameras, and secondly, the lack of controllability in dynamic scenarios. We present CoGS, a method for Controllable Gaussian Splatting, that enables the direct manipulation of scene elements, offering real-time control of dynamic scenes without the prerequisite of pre-computing control signals. We evaluated CoGS using both synthetic and real-world datasets that include dynamic objects that differ in degree of difficulty. In our evaluations, CoGS consistently outperformed existing dynamic and controllable neural representations in terms of visual fidelity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google