要約
ニューラルレンダリングは、動的なシーン再構成において目覚ましい成功を収めている。神経表現の表現力のおかげで、先行研究は正確に動きを捉え、ターゲットオブジェクトの忠実度の高い再構成を達成することができる。にもかかわらず、実世界の映像シナリオでは、神経表現が現実的な補完を達成するのに苦労するような、未観測の大きな領域がしばしば登場する。この課題に取り組むために、我々はMorpheuSを導入する。MorpheuSは、何気なく撮影されたRGB-D映像から、360{deg}の動的な表面再構成を行うフレームワークである。我々のアプローチは、ターゲットシーンを、その形状と外観を符号化する正準フィールドと、現在のフレームから正準空間に点をワープさせる変形フィールドとしてモデル化する。ビュー依存の拡散事前分布を活用し、そこから知識を抽出することで、未観測領域の現実的な補完を実現する。様々な実世界データセットと合成データセットに対する実験結果から、本手法が、単眼RGB-D映像から変形可能な物体の高忠実度360{deg}表面再構成を達成できることが示される。
要約(オリジナル)
Neural rendering has demonstrated remarkable success in dynamic scene reconstruction. Thanks to the expressiveness of neural representations, prior works can accurately capture the motion and achieve high-fidelity reconstruction of the target object. Despite this, real-world video scenarios often feature large unobserved regions where neural representations struggle to achieve realistic completion. To tackle this challenge, we introduce MorpheuS, a framework for dynamic 360{\deg} surface reconstruction from a casually captured RGB-D video. Our approach models the target scene as a canonical field that encodes its geometry and appearance, in conjunction with a deformation field that warps points from the current frame to the canonical space. We leverage a view-dependent diffusion prior and distill knowledge from it to achieve realistic completion of unobserved regions. Experimental results on various real-world and synthetic datasets show that our method can achieve high-fidelity 360{\deg} surface reconstruction of a deformable object from a monocular RGB-D video.
arxiv情報
| 著者 | Hengyi Wang,Jingwen Wang,Lourdes Agapito |
| 発行日 | 2023-12-01 18:55:53+00:00 |
| arxivサイト | arxiv_id(pdf) |