ActorsNeRF: Animatable Few-shot Human Rendering with Generalizable NeRFs

要約

【タイトル】ActorsNeRF：汎用的なNeRFを用いたアニメーション可能な少数ショットの人物レンダリング

【要約】
– NeRFベースの人間表現は、新しい視点の合成結果が素晴らしいが、ほとんどの手法はトレーニングに大量の画像/ビューに依存している。
– この研究では、新しいアクターのために未見のポーズで数フレームのモノクルビデオフレームで適応されたアニメータブルなNeRFであるActorsNeRFを提案。
– ConvNetエンコーダを使用したパラメータ共有を使用する以前の汎用的なNeRFに基づいて構築されたActorsNeRFは、2つの人間の先行事例を採用し、大きな人間の外観、形状、姿勢の変化をキャプチャする。
– 特に、エンコードされた特徴空間では、カテゴリレベルの正準空間で異なる人間主体を最初に整列し、レンダリングのために異なるフレームから同じ人間をインスタンスレベルの正準空間で整列させる。
– ActorsNeRFは、複数のデータセットで新しい人物とポーズに対する少数ショット汎用化の既存の最先端を大幅に上回っていることを定量的にかつ質的に実証している。

要約(オリジナル)

While NeRF-based human representations have shown impressive novel view synthesis results, most methods still rely on a large number of images / views for training. In this work, we propose a novel animatable NeRF called ActorsNeRF. It is first pre-trained on diverse human subjects, and then adapted with few-shot monocular video frames for a new actor with unseen poses. Building on previous generalizable NeRFs with parameter sharing using a ConvNet encoder, ActorsNeRF further adopts two human priors to capture the large human appearance, shape, and pose variations. Specifically, in the encoded feature space, we will first align different human subjects in a category-level canonical space, and then align the same human from different frames in an instance-level canonical space for rendering. We quantitatively and qualitatively demonstrate that ActorsNeRF significantly outperforms the existing state-of-the-art on few-shot generalization to new people and poses on multiple datasets. Project Page: https://jitengmu.github.io/ActorsNeRF/

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI