Temporal Interpolation Is All You Need for Dynamic Neural Radiance Fields

要約

時間補間は、動的なシーンで意味のある表現を学習するために重要な役割を果たします。
この論文では、特徴ベクトルの時間的補間に基づいて、動的シーンの時空間ニューラル放射輝度フィールドをトレーニングする新しい方法を提案します。
基礎となる表現、ニューラル ネットワーク、またはグリッドに応じて、2 つの特徴補間方法が提案されます。
ニューラル表現では、複数のニューラル ネットワーク モジュールを介して時空間入力から特徴を抽出し、時間枠に基づいて補間します。
提案されたマルチレベル機能補間ネットワークは、短期および長期の両方の時間範囲の機能を効果的にキャプチャします。
グリッド表現では、時空間の特徴は 4 次元のハッシュ グリッドを介して学習されるため、トレーニング時間が大幅に短縮されます。
グリッド表現は、レンダリング品質を維持しながら、以前のニューラル ネット ベースの方法よりも 100 倍以上速いトレーニング速度を示しています。
静的機能と動的機能を連結し、単純な平滑項を追加すると、提案されたモデルのパフォーマンスがさらに向上します。
モデル アーキテクチャのシンプルさにもかかわらず、私たちの方法は、ニューラル表現のレンダリング品質とグリッド表現のトレーニング速度の両方で最先端のパフォーマンスを達成しました。

要約(オリジナル)

Temporal interpolation often plays a crucial role to learn meaningful representations in dynamic scenes. In this paper, we propose a novel method to train spatiotemporal neural radiance fields of dynamic scenes based on temporal interpolation of feature vectors. Two feature interpolation methods are suggested depending on underlying representations, neural networks or grids. In the neural representation, we extract features from space-time inputs via multiple neural network modules and interpolate them based on time frames. The proposed multi-level feature interpolation network effectively captures features of both short-term and long-term time ranges. In the grid representation, space-time features are learned via four-dimensional hash grids, which remarkably reduces training time. The grid representation shows more than 100 times faster training speed than the previous neural-net-based methods while maintaining the rendering quality. Concatenating static and dynamic features and adding a simple smoothness term further improve the performance of our proposed models. Despite the simplicity of the model architectures, our method achieved state-of-the-art performance both in rendering quality for the neural representation and in training speed for the grid representation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google