Differentiable Point-Based Radiance Fields for Efficient View Synthesis

要約

効率的な新規ビュー合成のための微分可能なレンダリングアルゴリズムを提案します。
ボリュームベースの表現から離れ、学習されたポイント表現を採用することで、トレーニングと推論の両方において、メモリと実行時間において既存の手法を一桁以上改善しました。
この方法は、均一にサンプリングされたランダムな点群から始まり、微分可能なスプラットベースのレンダラーを使用して、点ごとの位置とビュー依存の外観を学習し、入力画像のセットと一致するようにモデルを進化させます。
私たちの方法は、トレーニングと推論の両方で NeRF よりも最大 300 倍高速であり、品質をわずかに犠牲にするだけで、静的シーンのメモリ使用量は 10 MB 未満です。
動的シーンの場合、私たちの方法は STNeRF よりも 2 桁速くトレーニングし、ほぼインタラクティブなレートでレンダリングしながら、時間的コヒーレンシーの正則化を課さなくても高画質と時間的コヒーレンスを維持します。

要約(オリジナル)

We propose a differentiable rendering algorithm for efficient novel view synthesis. By departing from volume-based representations in favor of a learned point representation, we improve on existing methods more than an order of magnitude in memory and runtime, both in training and inference. The method begins with a uniformly-sampled random point cloud and learns per-point position and view-dependent appearance, using a differentiable splat-based renderer to evolve the model to match a set of input images. Our method is up to 300x faster than NeRF in both training and inference, with only a marginal sacrifice in quality, while using less than 10~MB of memory for a static scene. For dynamic scenes, our method trains two orders of magnitude faster than STNeRF and renders at near interactive rate, while maintaining high image quality and temporal coherence even without imposing any temporal-coherency regularizers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google