HexPlane: A Fast Representation for Dynamic Scenes

要約

動的な 3D シーンのモデリングと再レンダリングは、3D ビジョンでは困難な作業です。
以前のアプローチは NeRF に基づいて構築され、暗黙的な表現に依存していました。
多くの MLP 評価が必要であり、現実世界のアプリケーションを制約するため、これは遅くなります。
動的な 3D シーンは、学習した特徴の 6 つの平面によって明示的に表現できることを示し、HexPlane と呼ばれる洗練されたソリューションにつながります。
HexPlane は、各平面から抽出されたベクトルを融合することにより、時空のポイントの特徴を計算します。これは非常に効率的です。
HexPlane を小さな MLP と組み合わせて出力色を回帰させ、ボリューム レンダリングを介してトレーニングすることで、ダイナミック シーンでの斬新なビュー合成の印象的な結果が得られ、以前の作業の画質に匹敵しますが、トレーニング時間を $100\times$ 以上削減します。
広範なアブレーションにより、HexPlane 設計が確認され、さまざまな機能融合メカニズム、座標系、およびデコード メカニズムに対して堅牢であることを示しています。
HexPlanes は、4D ボリュームを表現するためのシンプルで効果的なソリューションであり、動的な 3D シーンの時空のモデリングに広く貢献できることを願っています。

要約(オリジナル)

Modeling and re-rendering dynamic 3D scenes is a challenging task in 3D vision. Prior approaches build on NeRF and rely on implicit representations. This is slow since it requires many MLP evaluations, constraining real-world applications. We show that dynamic 3D scenes can be explicitly represented by six planes of learned features, leading to an elegant solution we call HexPlane. A HexPlane computes features for points in spacetime by fusing vectors extracted from each plane, which is highly efficient. Pairing a HexPlane with a tiny MLP to regress output colors and training via volume rendering gives impressive results for novel view synthesis on dynamic scenes, matching the image quality of prior work but reducing training time by more than $100\times$. Extensive ablations confirm our HexPlane design and show that it is robust to different feature fusion mechanisms, coordinate systems, and decoding mechanisms. HexPlanes are a simple and effective solution for representing 4D volumes, and we hope they can broadly contribute to modeling spacetime for dynamic 3D scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google