View Synthesis of Dynamic Scenes based on Deep 3D Mask Volume

要約

イメージ ビュー合成は、ディープ ラーニングとさまざまな新しい表現のおかげで、写真のようにリアルなビジュアルの再構築に大きな成功を収めています。
没入型仮想体験の次の重要なステップは、動的シーンのビュー合成です。
ただし、高品質のトレーニング データセットが不足していることと、動的なシーンのビデオの追加の時間次元が原因で、いくつかの課題が存在します。
この問題に対処するために、カスタム 10 カメラ リグで 120 FPS でキャプチャされたマルチビュー ビデオ データセットを導入します。
このデータセットには、屋外シーンでのさまざまな視覚効果と人間の相互作用を示す 96 の高品質のシーンが含まれています。
静的カメラでキャプチャされた動的シーンの両眼ビデオから時間的に安定したビューの外挿を可能にする新しいアルゴリズム、ディープ 3D マスク ボリュームを開発します。
私たちのアルゴリズムは、エラーが発生しやすい領域を 3D マスク ボリュームで特定することにより、非閉塞の一時的な不一致に対処し、それらをビデオ全体で観察される静的な背景に置き換えます。
私たちの方法は、単純な 2D マスクとは対照的に、3D 空間での操作を可能にします。フレームごとの静的ビュー合成方法、または 2D マスクを使用する方法よりも優れた時間的安定性を示します。
結果のビュー合成ビデオは、ちらつきアーティファクトを最小限に抑え、より大きな並進運動を可能にします。

要約(オリジナル)

Image view synthesis has seen great success in reconstructing photorealistic visuals, thanks to deep learning and various novel representations. The next key step in immersive virtual experiences is view synthesis of dynamic scenes. However, several challenges exist due to the lack of high-quality training datasets, and the additional time dimension for videos of dynamic scenes. To address this issue, we introduce a multi-view video dataset, captured with a custom 10-camera rig in 120FPS. The dataset contains 96 high-quality scenes showing various visual effects and human interactions in outdoor scenes. We develop a new algorithm, Deep 3D Mask Volume, which enables temporally-stable view extrapolation from binocular videos of dynamic scenes, captured by static cameras. Our algorithm addresses the temporal inconsistency of disocclusions by identifying the error-prone areas with a 3D mask volume, and replaces them with static background observed throughout the video. Our method enables manipulation in 3D space as opposed to simple 2D masks, We demonstrate better temporal stability than frame-by-frame static view synthesis methods, or those that use 2D masks. The resulting view synthesis videos show minimal flickering artifacts and allow for larger translational movements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google