LEIA: Latent View-invariant Embeddings for Implicit 3D Articulation

要約

Neural Radiance Fields (NeRF) は、3D での静的なシーンとオブジェクトの再構築に革命をもたらし、前例のない品質を提供します。
ただし、NeRF を拡張して動的オブジェクトやオブジェクトのアーティキュレーションをモデル化することは、依然として困難な問題です。
これまでの研究では、部品レベルの再構築とオブジェクトの動き推定に焦点を当ててこの問題に取り組んできましたが、可動部品やオブジェクト カテゴリの数に関するヒューリスティックに依存することが多く、実際の使用が制限される可能性があります。
この作品では、動的な 3D オブジェクトを表現するための新しいアプローチである LEIA を紹介します。
私たちの方法では、オブジェクトを個別のタイム ステップまたは「状態」で観察し、現在の状態に基づいてハイパーネットワークを調整し、これを使用して NeRF をパラメータ化します。
このアプローチにより、各状態のビュー不変の潜在表現を学習できるようになります。
さらに、これらの状態間を補間することで、これまで見られなかった新しい関節構成を 3D 空間で生成できることを実証します。
私たちの実験結果は、視野角や関節構成に依存しない方法でオブジェクトを関節運動する際の私たちの方法の有効性を強調しています。
特に、私たちのアプローチは、関節の登録のために動き情報に依存する以前の方法よりも優れています。

要約(オリジナル)

Neural Radiance Fields (NeRFs) have revolutionized the reconstruction of static scenes and objects in 3D, offering unprecedented quality. However, extending NeRFs to model dynamic objects or object articulations remains a challenging problem. Previous works have tackled this issue by focusing on part-level reconstruction and motion estimation for objects, but they often rely on heuristics regarding the number of moving parts or object categories, which can limit their practical use. In this work, we introduce LEIA, a novel approach for representing dynamic 3D objects. Our method involves observing the object at distinct time steps or ‘states’ and conditioning a hypernetwork on the current state, using this to parameterize our NeRF. This approach allows us to learn a view-invariant latent representation for each state. We further demonstrate that by interpolating between these states, we can generate novel articulation configurations in 3D space that were previously unseen. Our experimental results highlight the effectiveness of our method in articulating objects in a manner that is independent of the viewing angle and joint configuration. Notably, our approach outperforms previous methods that rely on motion information for articulation registration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google