K-Planes: Explicit Radiance Fields in Space, Time, and Appearance

要約

任意次元の放射輝度場のホワイト ボックス モデルである k 平面を導入します。
私たちのモデルは、d 次元シーンを表すために d choose 2 プレーンを使用し、静的 (d=3) シーンから動的 (d=4) シーンにシームレスに移動する方法を提供します。
この平面因数分解により、次元固有の事前分布を簡単に追加できます。
時間的な滑らかさと多重解像度の空間構造を提供し、シーンの静的および動的コンポーネントの自然な分解を誘導します。
非線形ブラックボックス MLP デコーダーと同様のパフォーマンスが得られる、学習されたカラー ベースを持つ線形特徴デコーダーを使用します。
合成シーンと実写シーン、静的シーンと動的シーン、固定シーンと変動シーンのさまざまなシーンで、k プレーンは競争力のある、多くの場合最先端の再構成忠実度を低メモリ使用量で実現し、完全な 4D グリッドで 1000 倍の圧縮を実現し、高速です。
純粋な PyTorch 実装による最適化。
ビデオの結果とコードについては、sarafridov.github.io/K-Planes を参照してください。

要約(オリジナル)

We introduce k-planes, a white-box model for radiance fields in arbitrary dimensions. Our model uses d choose 2 planes to represent a d-dimensional scene, providing a seamless way to go from static (d=3) to dynamic (d=4) scenes. This planar factorization makes adding dimension-specific priors easy, e.g. temporal smoothness and multi-resolution spatial structure, and induces a natural decomposition of static and dynamic components of a scene. We use a linear feature decoder with a learned color basis that yields similar performance as a nonlinear black-box MLP decoder. Across a range of synthetic and real, static and dynamic, fixed and varying appearance scenes, k-planes yields competitive and often state-of-the-art reconstruction fidelity with low memory usage, achieving 1000x compression over a full 4D grid, and fast optimization with a pure PyTorch implementation. For video results and code, please see sarafridov.github.io/K-Planes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google