FPO++: Efficient Encoding and Rendering of Dynamic Neural Radiance Fields by Analyzing and Enhancing Fourier PlenOctrees

要約

Fourier PlenOctree は、動的 Neural Radiance Fields (NeRF) のリアルタイム レンダリングの効率的な表現であることが示されています。
この方法には多くの利点があるにもかかわらず、静的なフレームごとの NeRF モデルをトレーニングするための最近の最先端技術と組み合わせると、関連する圧縮によって生じるアーティファクトに悩まされます。
このペーパーでは、これらのアーティファクトの詳細な分析を実行し、その結果得られた洞察を活用して、改善された表現を提案します。
特に、基礎となるボリュームレンダリング手順で使用される伝達関数の特性にフーリエベースの圧縮を適応させ、動的モデルのアーティファクトの大幅な削減につながる新しい密度エンコーディングを提案します。
さらに、圧縮の周期性の仮定を緩和するトレーニング データの強化を示します。
合成シーンと現実世界のシーンにおける定量的および定性的評価の範囲で、強化された Fourier PlenOctree の有効性を実証します。

要約(オリジナル)

Fourier PlenOctrees have shown to be an efficient representation for real-time rendering of dynamic Neural Radiance Fields (NeRF). Despite its many advantages, this method suffers from artifacts introduced by the involved compression when combining it with recent state-of-the-art techniques for training the static per-frame NeRF models. In this paper, we perform an in-depth analysis of these artifacts and leverage the resulting insights to propose an improved representation. In particular, we present a novel density encoding that adapts the Fourier-based compression to the characteristics of the transfer function used by the underlying volume rendering procedure and leads to a substantial reduction of artifacts in the dynamic model. Furthermore, we show an augmentation of the training data that relaxes the periodicity assumption of the compression. We demonstrate the effectiveness of our enhanced Fourier PlenOctrees in the scope of quantitative and qualitative evaluations on synthetic and real-world scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google