Is Generalized Dynamic Novel View Synthesis from Monocular Videos Possible Today?

要約

単眼ビデオで観察されたシーンを新しい視点からレンダリングすることは、困難な問題です。
静的シーンの場合、コミュニティは、すべてのテスト シーンで最適化するシーン固有の最適化手法と、テスト シーンでディープ ネット フォワード パスのみを実行する一般化された手法の両方を研究してきました。
対照的に、動的なシーンの場合は、シーン固有の最適化手法が存在しますが、我々の知る限りでは、特定の単眼ビデオから動的な新しいビューを合成するための一般化された方法は現在ありません。
単眼ビデオからの一般化された動的新規ビュー合成が今日可能であるかどうかに答えるために、我々は既存の技術に基づいた分析フレームワークを確立し、一般化されたアプローチに向けて取り組んでいます。
シーン固有の外観の最適化を行わない擬似一般化プロセスは可能ですが、幾何学的および時間的に一貫した深度推定が必要であることがわかりました。
シーン固有の外観の最適化がないにもかかわらず、擬似一般化されたアプローチは、シーン固有のいくつかの方法を改良しています。

要約(オリジナル)

Rendering scenes observed in a monocular video from novel viewpoints is a challenging problem. For static scenes the community has studied both scene-specific optimization techniques, which optimize on every test scene, and generalized techniques, which only run a deep net forward pass on a test scene. In contrast, for dynamic scenes, scene-specific optimization techniques exist, but, to our best knowledge, there is currently no generalized method for dynamic novel view synthesis from a given monocular video. To answer whether generalized dynamic novel view synthesis from monocular videos is possible today, we establish an analysis framework based on existing techniques and work toward the generalized approach. We find a pseudo-generalized process without scene-specific appearance optimization is possible, but geometrically and temporally consistent depth estimates are needed. Despite no scene-specific appearance optimization, the pseudo-generalized approach improves upon some scene-specific methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google