Fast Non-Rigid Radiance Fields from Monocularized Data

要約

近年、動的なシーンの3D再構成と単一ビューのコレクションからの新規ビュー合成に注目が集まっている。既存の研究は、合成セットアップと前方を向いた実世界データに対して印象的な結果を示しているが、新規ビューを生成するための学習速度と角度範囲に大きな制限がある。本論文では、これらの制限を克服し、非剛体変形シーンにおける360度全周囲の新規ビュー合成手法を提案する。本手法の中核は以下の通りである．1) 学習時と推論時の加速のために空間情報と時間情報の処理を切り離した効率的な変形モジュール、2) 正統的なシーンを高速ハッシュ符号化したニューラル輝度場として表現する静的モジュール、である。提案手法を、確立された合成D-NeRFベンチマークで評価する。このベンチマークは、全半球からランダムにサンプリングした時間フレームごとの単眼視から効率的に再構成することを可能にする。このような入力形式を単眼化データと呼ぶ。実世界のシナリオに対する実用性を証明するために、我々は人間の俳優が出演する12の困難なシーケンスを、同期した多視点リグから単一フレームをサンプリングして記録した。いずれの場合も、我々の手法は従来の手法よりも大幅に高速に学習され（数日ではなく数分）、同時に生成された新規ビューに対してより高い視覚的精度を達成することができた。私たちのソースコードとデータは、私たちのプロジェクトページ https://graphics.tu-bs.de/publications/kappel2022fast で入手可能です。

要約(オリジナル)

3D reconstruction and novel view synthesis of dynamic scenes from collections of single views recently gained increased attention. Existing work shows impressive results for synthetic setups and forward-facing real-world data, but is severely limited in the training speed and angular range for generating novel views. This paper addresses these limitations and proposes a new method for full 360{\deg} novel view synthesis of non-rigidly deforming scenes. At the core of our method are: 1) An efficient deformation module that decouples the processing of spatial and temporal information for acceleration at training and inference time; and 2) A static module representing the canonical scene as a fast hash-encoded neural radiance field. We evaluate the proposed approach on the established synthetic D-NeRF benchmark, that enables efficient reconstruction from a single monocular view per time-frame randomly sampled from a full hemisphere. We refer to this form of inputs as monocularized data. To prove its practicality for real-world scenarios, we recorded twelve challenging sequences with human actors by sampling single frames from a synchronized multi-view rig. In both cases, our method is trained significantly faster than previous methods (minutes instead of days) while achieving higher visual accuracy for generated novel views. Our source code and data is available at our project page https://graphics.tu-bs.de/publications/kappel2022fast.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL