Motion Blender Gaussian Splatting for Dynamic Reconstruction

要約

Gaussian Spluttingは、動的なシーンの高忠実度再構築のための強力なツールとして浮上しています。
ただし、既存の方法は、主にニューラルネットワークへの動きをエンコードするなど、暗黙の運動表現やガウスごとのパラメーターに依存しているため、再構築された動きをさらに操作することが困難になります。
この明示的な制御可能性の欠如は、既存の方法を記録された動きのみを再生するために制限し、より広いアプリケーションを妨げます。
これに対処するために、モーショングラフを明示的でまばらなモーション表現として使用する新しいフレームワークであるモーションブレンダーガウススプラッティング（MB-GS）を提案します。
グラフリンクの動きは、デュアルQuaternionのスキニングを介して個々のガウスに伝播され、学習可能な重量塗装機能が各リンクの影響を決定します。
モーショングラフと3Dガウスは、微分可能なレンダリングを介して入力ビデオから共同で最適化されています。
実験では、MB-GSがiPhoneデータセットで最先端のパフォーマンスを達成しながら、Hypernerfで競争力があることが示されています。
さらに、モーション編集を通じて新しいオブジェクトの動きとロボットのデモンストレーションを生成する方法のアプリケーションの可能性を示します。
ビデオデモンストレーションは、https：//mlzxy.github.io/mbgsにあります。

要約(オリジナル)

Gaussian splatting has emerged as a powerful tool for high-fidelity reconstruction of dynamic scenes. However, existing methods primarily rely on implicit motion representations, such as encoding motions into neural networks or per-Gaussian parameters, which makes it difficult to further manipulate the reconstructed motions. This lack of explicit controllability limits existing methods to replaying recorded motions only, which hinders a wider application. To address this, we propose Motion Blender Gaussian Splatting (MB-GS), a novel framework that uses motion graph as an explicit and sparse motion representation. The motion of graph links is propagated to individual Gaussians via dual quaternion skinning, with learnable weight painting functions determining the influence of each link. The motion graphs and 3D Gaussians are jointly optimized from input videos via differentiable rendering. Experiments show that MB-GS achieves state-of-the-art performance on the iPhone dataset while being competitive on HyperNeRF. Additionally, we demonstrate the application potential of our method in generating novel object motions and robot demonstrations through motion editing. Video demonstrations can be found at https://mlzxy.github.io/mbgs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google