FlowIBR: Leveraging Pre-Training for Efficient Neural Image-Based Rendering of Dynamic Scenes

要約

動的シーンの単眼新視点合成のための新しいアプローチを紹介します。
既存の技術はすでに優れたレンダリング品質を示していますが、事前の知識を活用せずに単一のシーン内の最適化に重点を置く傾向があります。
この制限は主に、トレーニングに利用できる動的シーンのデータセットの欠如とシーンのダイナミクスの多様性に起因しています。
私たちの手法 FlowIBR は、広く利用可能な静的シーンの大規模なコーパスで事前トレーニングされたニューラル画像ベースのレンダリング手法と、シーンごとに最適化されたシーン フロー フィールドを統合することで、これらの問題を回避します。
このフロー フィールドを利用して、カメラ レイを曲げてシーンのダイナミクスを打ち消すことで、ダイナミック シーンをレンダリング ネットワークに対して静的であるかのように表現します。
提案された方法は、シーンごとの最適化時間を大幅に短縮し、既存の方法と同等の結果をすべて単一の消費者向け GPU 上で達成します。

要約(オリジナル)

We introduce a novel approach for monocular novel view synthesis of dynamic scenes. Existing techniques already show impressive rendering quality but tend to focus on optimization within a single scene without leveraging prior knowledge. This limitation has been primarily attributed to the lack of datasets of dynamic scenes available for training and the diversity of scene dynamics. Our method FlowIBR circumvents these issues by integrating a neural image-based rendering method, pre-trained on a large corpus of widely available static scenes, with a per-scene optimized scene flow field. Utilizing this flow field, we bend the camera rays to counteract the scene dynamics, thereby presenting the dynamic scene as if it were static to the rendering network. The proposed method reduces per-scene optimization time by an order of magnitude, achieving comparable results to existing methods – all on a single consumer-grade GPU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google