VidPanos: Generative Panoramic Videos from Casual Panning Videos

要約

パノラマ画像スティッチングにより、カメラの視野を超えて広がるシーンの統一された広角ビューが提供されます。
パン ビデオのフレームをパノラマ写真につなぎ合わせるのは、静止したシーンではよく理解されている問題ですが、オブジェクトが動いている場合、静止したパノラマではシーンをキャプチャできません。
何気なく撮影した流し撮り動画から、あたかも広角カメラで撮影したかのようなパノラマ動画を合成する手法を紹介します。
私たちはパノラマ合成を時空アウトペインティング問題として提起し、入力ビデオと同じ長さの完全なパノラマ ビデオを作成することを目指します。
時空ボリュームを一貫して完成させるには、ビデオ コンテンツとモーションに対する強力で現実的な事前処理が必要であり、これに生成ビデオ モデルを適応させます。
ただし、既存の生成モデルは、ここで示すように、すぐにパノラマの完成まで拡張されるわけではありません。
代わりに、パノラマ合成システムのコンポーネントとしてビデオ生成を適用し、モデルの制限を最小限に抑えながらモデルの長所を活用する方法を示します。
当社のシステムは、静止した背景の特徴だけでなく、人、車両、流れる水など、さまざまな自然のシーンのビデオ パノラマを作成できます。

要約(オリジナル)

Panoramic image stitching provides a unified, wide-angle view of a scene that extends beyond the camera’s field of view. Stitching frames of a panning video into a panoramic photograph is a well-understood problem for stationary scenes, but when objects are moving, a still panorama cannot capture the scene. We present a method for synthesizing a panoramic video from a casually-captured panning video, as if the original video were captured with a wide-angle camera. We pose panorama synthesis as a space-time outpainting problem, where we aim to create a full panoramic video of the same length as the input video. Consistent completion of the space-time volume requires a powerful, realistic prior over video content and motion, for which we adapt generative video models. Existing generative models do not, however, immediately extend to panorama completion, as we show. We instead apply video generation as a component of our panorama synthesis system, and demonstrate how to exploit the strengths of the models while minimizing their limitations. Our system can create video panoramas for a range of in-the-wild scenes including people, vehicles, and flowing water, as well as stationary background features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google