MovingParts: Motion-based 3D Part Discovery in Dynamic Radiance Field

要約

タイトル：MovingParts：動的輝度場におけるモーションベースの3Dパーツ発見。
要約：本研究では、動的シーン再構成およびパーツ発見のためのNeRFベースのMovingPartsを提案している。パーツの識別において、同じパーツ上の全粒子が共通のモーションパターンを共有することを重要な手がかりとしている。既存の変形ベースの方法は、オイラー視点でシーンのモーションをパラメータ化することができると考えられており、流体の流れる空間を通して特定の場所に焦点を当てることである。しかし、オイラー視点表現を使用して構成物またはパーツのモーションを抽出することは不可能である。本研究では、デュアルラグランジアンビューを導入し、オイラー/ラグランジアンビュー下での表現をサイクル整合性があるように強制する。ラグランジアンビューでは、物体上の粒子の軌跡を追跡することでシーンのモーションをパラメータ化する。ラグランジアンビューにより、シーンのモーションをパーツレベルの剛体モーションの合成として因数分解することが便利になる。実験的に、わずかな移動カメラからでも高速かつ高品質な動的シーン再構成を達成でき、誘導されたパーツベースの表現により、パーツ追跡、アニメーション、3Dシーン編集などの直接的なアプリケーションが可能になる。

– MovingPartsは、動的シーンの再構成とパーツ発見のためのNeRFベースの方法。
– 全粒子が同じモーションパターンを共有することを手がかりに、パーツの識別を行う。
– 既存の変形ベースの方法は、オイラー視点でシーンのモーションをパラメータ化することができる。
– デュアルラグランジアンビューを導入し、表現をオイラー/ラグランジアンビュー下でのサイクル整合性があるように強制する。
– ラグランジアンビューでは、物体上の粒子の軌跡を追跡することでシーンのモーションをパラメータ化する。
– 表現をパーツレベルの剛体モーションの合成として因数分解することが便利になる。
– 実験的に、わずかな移動カメラからでも高速かつ高品質な動的シーン再構成を達成できる。

要約(オリジナル)

We present MovingParts, a NeRF-based method for dynamic scene reconstruction and part discovery. We consider motion as an important cue for identifying parts, that all particles on the same part share the common motion pattern. From the perspective of fluid simulation, existing deformation-based methods for dynamic NeRF can be seen as parameterizing the scene motion under the Eulerian view, i.e., focusing on specific locations in space through which the fluid flows as time passes. However, it is intractable to extract the motion of constituting objects or parts using the Eulerian view representation. In this work, we introduce the dual Lagrangian view and enforce representations under the Eulerian/Lagrangian views to be cycle-consistent. Under the Lagrangian view, we parameterize the scene motion by tracking the trajectory of particles on objects. The Lagrangian view makes it convenient to discover parts by factorizing the scene motion as a composition of part-level rigid motions. Experimentally, our method can achieve fast and high-quality dynamic scene reconstruction from even a single moving camera, and the induced part-based representation allows direct applications of part tracking, animation, 3D scene editing, etc.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI