3D Video Loops from Asynchronous Input

要約

ループ ビデオは、目に見える継ぎ目やアーティファクトなしで無限にループできる短いビデオ クリップです。
それらは、自然のシーンのダイナミズムを捉える非常に魅力的な方法を提供します。
既存の方法は、ほとんどが 2D 表現に限定されています。
このホワイト ペーパーでは、一歩前進し、動的な 3D ループ シーンでの没入型体験を可能にする実用的なソリューションを提案します。
重要な課題は、3D 表現のビューの一貫性を維持しながら、非同期入力からのビューごとのループ条件を考慮することです。
これは、ビューの一貫性のある事前情報を提供するだけでなく、メモリ使用量を大幅に削減し、4D ボリュームの最適化を扱いやすくします。
次に、2 段階のパイプラインを導入して、時間オーバーラップのない完全に非同期のマルチビュー ビデオから 3D ループ MTV を構築します。
3D シーンをループするための最適化中に、ビデオの時間的リターゲット アルゴリズムに基づく新しいループ損失が採用されます。
私たちのフレームワークの実験では、モバイル デバイス上でもフォトリアリスティックな 3D ループ ビデオをリアルタイムで正常に生成およびレンダリングできる可能性が示されました。
コード、データセット、およびライブ デモは、https://limacv.github.io/VideoLoop3D_web/ で入手できます。

要約(オリジナル)

Looping videos are short video clips that can be looped endlessly without visible seams or artifacts. They provide a very attractive way to capture the dynamism of natural scenes. Existing methods have been mostly limited to 2D representations. In this paper, we take a step forward and propose a practical solution that enables an immersive experience on dynamic 3D looping scenes. The key challenge is to consider the per-view looping conditions from asynchronous input while maintaining view consistency for the 3D representation. We propose a novel sparse 3D video representation, namely Multi-Tile Video (MTV), which not only provides a view-consistent prior, but also greatly reduces memory usage, making the optimization of a 4D volume tractable. Then, we introduce a two-stage pipeline to construct the 3D looping MTV from completely asynchronous multi-view videos with no time overlap. A novel looping loss based on video temporal retargeting algorithms is adopted during the optimization to loop the 3D scene. Experiments of our framework have shown promise in successfully generating and rendering photorealistic 3D looping videos in real time even on mobile devices. The code, dataset, and live demos are available in https://limacv.github.io/VideoLoop3D_web/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google