Fast Non-Rigid Radiance Fields from Monocularized Data

要約

近年、ダイナミックなシーンの再構成や斬新な視点の合成が注目を集めています。
大規模なマルチビュー データからの再構成には膨大なメモリと計算要件が必要となるため、最近のベンチマーク データセットでは、複数の (仮想) カメラからサンプリングされたタイムスタンプごとに単一の単眼ビューのコレクションが提供されます。
この形式の入力を「単眼化」データと呼びます。
既存の研究では、合成セットアップと前向きの実世界データに関して素晴らしい結果が示されていますが、多くの場合、新しいビューを生成するためのトレーニング速度と角度範囲が制限されています。
この論文はこれらの制限に対処し、非剛体変形シーンの完全な 360{\deg} 内向きの新しいビュー合成のための新しい方法を提案します。
私たちの方法の中核は次のとおりです。 1) トレーニングと推論を加速するために、空間情報と時間情報の処理を分離する効率的な変形モジュール。
2) 高速ハッシュエンコードされたニューラル放射輝度フィールドとして標準シーンを表す静的モジュール。
既存の合成単眼化データに加えて、同期された大規模なマルチビュー リグからサンプリングされた新しく記録された困難なデータセットを使用して、現実世界の内向きシーンのパフォーマンスを体系的に分析します。
どちらの場合も、私たちの方法は以前の方法よりも大幅に高速であり、7 分未満で収束し、1K 解像度でリアルタイム フレームレートを達成しながら、生成された新しいビューの視覚的精度が向上しました。
私たちのソース コードとデータは、プロジェクト ページ https://graphics.tu-bs.de/publications/kappel2022fast で入手できます。

要約(オリジナル)

The reconstruction and novel view synthesis of dynamic scenes recently gained increased attention. As reconstruction from large-scale multi-view data involves immense memory and computational requirements, recent benchmark datasets provide collections of single monocular views per timestamp sampled from multiple (virtual) cameras. We refer to this form of inputs as ‘monocularized’ data. Existing work shows impressive results for synthetic setups and forward-facing real-world data, but is often limited in the training speed and angular range for generating novel views. This paper addresses these limitations and proposes a new method for full 360{\deg} inward-facing novel view synthesis of non-rigidly deforming scenes. At the core of our method are: 1) An efficient deformation module that decouples the processing of spatial and temporal information for accelerated training and inference; and 2) A static module representing the canonical scene as a fast hash-encoded neural radiance field. In addition to existing synthetic monocularized data, we systematically analyze the performance on real-world inward-facing scenes using a newly recorded challenging dataset sampled from a synchronized large-scale multi-view rig. In both cases, our method is significantly faster than previous methods, converging in less than 7 minutes and achieving real-time framerates at 1K resolution, while obtaining a higher visual accuracy for generated novel views. Our source code and data is available at our project page https://graphics.tu-bs.de/publications/kappel2022fast.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google