PersonNeRF: Personalized Reconstruction from Photo Collections

要約

PersonNeRF は、任意の体のポーズと外観で複数年にわたってキャプチャされた被写体 (ロジャー フェデラーなど) の写真のコレクションを撮影し、視点、体のポーズ、外観の任意の新しい組み合わせで被写体をレンダリングできるようにする方法です。
PersonNeRF は、カメラの視点、体のポーズ、および外観にまたがる空間全体をレンダリングできる、被験者のカスタマイズされたニューラル ボリューム 3D モデルを構築します。
このタスクの中心的な課題は、まばらな観測を扱うことです。
特定の体のポーズは、単一の外観を持つ単一の視点によってのみ観察される可能性が高く、特定の外観は、少数の異なる体のポーズの下でのみ観察されます。
この問題に対処するには、対象の正規の T ポーズ ニューラル ボリューム表現を回復します。これにより、さまざまな観測で外観を変更できますが、すべての観測で共有されたポーズ依存モーション フィールドが使用されます。
このアプローチは、復元されたボリューム ジオメトリを正則化して滑らかさを促進するとともに、これらの困難な構造化されていない写真コレクションから視点、ポーズ、および外観の新しい組み合わせから魅力的な画像をレンダリングするモデルを復元し、以前の作業を無料で上回ることを実証します。
-視点の人間のレンダリング。

要約(オリジナル)

We present PersonNeRF, a method that takes a collection of photos of a subject (e.g. Roger Federer) captured across multiple years with arbitrary body poses and appearances, and enables rendering the subject with arbitrary novel combinations of viewpoint, body pose, and appearance. PersonNeRF builds a customized neural volumetric 3D model of the subject that is able to render an entire space spanned by camera viewpoint, body pose, and appearance. A central challenge in this task is dealing with sparse observations; a given body pose is likely only observed by a single viewpoint with a single appearance, and a given appearance is only observed under a handful of different body poses. We address this issue by recovering a canonical T-pose neural volumetric representation of the subject that allows for changing appearance across different observations, but uses a shared pose-dependent motion field across all observations. We demonstrate that this approach, along with regularization of the recovered volumetric geometry to encourage smoothness, is able to recover a model that renders compelling images from novel combinations of viewpoint, pose, and appearance from these challenging unstructured photo collections, outperforming prior work for free-viewpoint human rendering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google