SelfNeRF: Fast Training NeRF for Human from Monocular Self-rotating Video

要約

本論文では、人間の演技のための効率的な神経放射場に基づく新規な視界合成法であるSelfNeRFを提案する。SelfNeRFは、単眼の自己回転する人物映像があれば、ゼロから学習し、20分程度で高忠実度の結果を得ることができる。最近のいくつかの研究では、ダイナミックな人間の再構成のためにニューラルラジアンスフィールドを利用しています。しかし、これらの手法の多くは多視点入力を必要とし、数時間の学習が必要であるため、実用化はまだ困難です。この困難な問題に対処するため、我々は、学習速度を大幅に改善し、フレーム間の情報を集約できる、多重解像度ハッシュエンコーディングに基づく表面相対表現を導入する。いくつかの異なるデータセットを用いた広範な実験結果により、挑戦的な単眼動画に対するSelfNeRFの有効性と効率性を実証する。

要約(オリジナル)

In this paper, we propose SelfNeRF, an efficient neural radiance field based novel view synthesis method for human performance. Given monocular self-rotating videos of human performers, SelfNeRF can train from scratch and achieve high-fidelity results in about twenty minutes. Some recent works have utilized the neural radiance field for dynamic human reconstruction. However, most of these methods need multi-view inputs and require hours of training, making it still difficult for practical use. To address this challenging problem, we introduce a surface-relative representation based on multi-resolution hash encoding that can greatly improve the training speed and aggregate inter-frame information. Extensive experimental results on several different datasets demonstrate the effectiveness and efficiency of SelfNeRF to challenging monocular videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL