Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos

要約

タイトル：Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos

要約：
– Neural Radiance Fields（NeRF）は、静的オブジェクトのモデリングやフリービューレンダリングに成功しており、この成功は動的なシーンにも応用されています。
– 現在のニューラルレンダリングを使用したフリービュー映像（FVV）の技術は、オフラインレンダリングに限定されたり、運動が最小限である短いシークエンスしか処理できません。
– この論文では、長時間の動的なシーンでリアルタイムFVVレンダリングを実現するための、高度にコンパクトなニューラル表現であるResidual Radiance FieldまたはReRFを提案しています。
– ReRFは、空間的テンポラルフィーチャースペースで隣接タイムスタンプ間の残留情報を明示的にモデリングし、グローバル座標ベースの小型MLPを特徴デコーダーとして使用します。
– 具体的には、ReRFはコンパクトなモーショングリッドと残余フィーチャーグリッドを使用して、フレーム間のフィーチャー類似性を利用します。この戦略は、品質を犠牲にすることなく大きな動きを処理できることを示しています。
– さらに、モーション/残余グリッドのスムーズさとスパーシティを維持するためのシーケンシャルトレーニングスキームを提供します。
– ReRFを基に、長時間の動的なシーンのFVVレンダリングをオンラインストリーミングで提供する専用のFVVコーデックとReRFプレーヤーを設計しました。
– 多数の実験により、動的輝度場をコンパクトに表現するためのReRFの有効性が証明され、速度と品質の未曽有のフリービューポイントビューイング体験が実現されました。

要約(オリジナル)

The success of the Neural Radiance Fields (NeRFs) for modeling and free-view rendering static objects has inspired numerous attempts on dynamic scenes. Current techniques that utilize neural rendering for facilitating free-view videos (FVVs) are restricted to either offline rendering or are capable of processing only brief sequences with minimal motion. In this paper, we present a novel technique, Residual Radiance Field or ReRF, as a highly compact neural representation to achieve real-time FVV rendering on long-duration dynamic scenes. ReRF explicitly models the residual information between adjacent timestamps in the spatial-temporal feature space, with a global coordinate-based tiny MLP as the feature decoder. Specifically, ReRF employs a compact motion grid along with a residual feature grid to exploit inter-frame feature similarities. We show such a strategy can handle large motions without sacrificing quality. We further present a sequential training scheme to maintain the smoothness and the sparsity of the motion/residual grids. Based on ReRF, we design a special FVV codec that achieves three orders of magnitudes compression rate and provides a companion ReRF player to support online streaming of long-duration FVVs of dynamic scenes. Extensive experiments demonstrate the effectiveness of ReRF for compactly representing dynamic radiance fields, enabling an unprecedented free-viewpoint viewing experience in speed and quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI