Learning Neural Volumetric Representations of Dynamic Humans in Minutes

要約

この論文では、まばらなマルチビュー ビデオから動的な人間の自由視点ビデオを迅速に再構築するという課題に対処します。
最近のいくつかの研究では、ダイナミックな人間を正準ニューラル放射輝度場 (NeRF) とモーション フィールドとして表しています。これらは微分可能なレンダリングを通じてビデオから学習されます。
ただし、シーンごとの最適化には通常何時間もかかります。
他の一般化可能な NeRF モデルは、データセットから事前に学習したものを活用し、視覚的な忠実度を犠牲にして新しいシーンのみを微調整することで最適化時間を短縮します。
この論文では、動的な人間のニューラルボリュームビデオを、競争力のある視覚品質で数分でスパースビュービデオから学習するための新しい方法を提案します。
具体的には、新しい部分ベースのボクセル化された人間の表現を定義して、ネットワークの表現力をさまざまな人間の部分によりよく分散させます。
さらに、変形場学習の収束率を高めるために、新しい2Dモーションパラメータ化スキームを提案します。
実験では、レンダリング品質で競争力を維持しながら、以前のシーンごとの最適化方法よりも 100 倍速くモデルを学習できることが実証されています。
通常、100 フレームの $512 \times 512$ のビデオでモデルをトレーニングするには、単一の RTX 3090 GPU で約 5 分かかります。
コードは $\href{https://zju3dv.github.io/instant_nvr}{project~page}$ でリリースされます。

要約(オリジナル)

This paper addresses the challenge of quickly reconstructing free-viewpoint videos of dynamic humans from sparse multi-view videos. Some recent works represent the dynamic human as a canonical neural radiance field (NeRF) and a motion field, which are learned from videos through differentiable rendering. But the per-scene optimization generally requires hours. Other generalizable NeRF models leverage learned prior from datasets and reduce the optimization time by only finetuning on new scenes at the cost of visual fidelity. In this paper, we propose a novel method for learning neural volumetric videos of dynamic humans from sparse view videos in minutes with competitive visual quality. Specifically, we define a novel part-based voxelized human representation to better distribute the representational power of the network to different human parts. Furthermore, we propose a novel 2D motion parameterization scheme to increase the convergence rate of deformation field learning. Experiments demonstrate that our model can be learned 100 times faster than prior per-scene optimization methods while being competitive in the rendering quality. Training our model on a $512 \times 512$ video with 100 frames typically takes about 5 minutes on a single RTX 3090 GPU. The code will be released on our $\href{https://zju3dv.github.io/instant_nvr}{project~page}$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google