Imagine360: Immersive 360 Video Generation from Perspective Anchor

要約

360^circ$動画は、視聴者が360度全方位からダイナミックなシーンを探索できる超浸透体験を提供する。360^circ$動画フォーマットで、よりユーザーフレンドリーでパーソナライズされたコンテンツ作成を実現するために、我々は標準的な遠近法動画を360^circ$の正方形動画に変換することを目指す。Imagine360は、ビデオアンカーから、豊富で多様な動きのパターンを持つ高品質の$360^circ$動画を生成する、初の遠近法から$360^circ$動画生成フレームワークである。Imagine360は、限られた$360^circ$ビデオデータから、いくつかの重要な設計により、きめ細かい球状の視覚・運動パターンを学習する。1) まず、遠近法とパノラマビデオのノイズ除去を含む二重ブランチ設計を採用し、360^circ$ビデオの生成に局所的・大域的制約を与え、モーションモジュールと空間LoRAレイヤーを拡張Web $360^circ$ビデオで微調整する。2) さらに、長距離の動き依存性を捕捉するために、対蹠点マスクを考案し、半球をまたぐ対蹠点画素間の逆カメラの動きを強調する。3) 多様な視点映像入力を扱うために、フレーム間で変化する標高による映像マスキングの変化に適応する標高を考慮したデザインを提案する。広範な実験により、Imagine360は、最新の$360^circ$ビデオ生成手法の中で、優れたグラフィックス品質と動きの一貫性を達成することが示された。我々は、Imagine360が、パーソナライズされた没入型$360^circ$動画作成を進歩させる可能性があると信じている。

要約(オリジナル)

$360^\circ$ videos offer a hyper-immersive experience that allows the viewers to explore a dynamic scene from full 360 degrees. To achieve more user-friendly and personalized content creation in $360^\circ$ video format, we seek to lift standard perspective videos into $360^\circ$ equirectangular videos. To this end, we introduce Imagine360, the first perspective-to-$360^\circ$ video generation framework that creates high-quality $360^\circ$ videos with rich and diverse motion patterns from video anchors. Imagine360 learns fine-grained spherical visual and motion patterns from limited $360^\circ$ video data with several key designs. 1) Firstly we adopt the dual-branch design, including a perspective and a panorama video denoising branch to provide local and global constraints for $360^\circ$ video generation, with motion module and spatial LoRA layers fine-tuned on extended web $360^\circ$ videos. 2) Additionally, an antipodal mask is devised to capture long-range motion dependencies, enhancing the reversed camera motion between antipodal pixels across hemispheres. 3) To handle diverse perspective video inputs, we propose elevation-aware designs that adapt to varying video masking due to changing elevations across frames. Extensive experiments show Imagine360 achieves superior graphics quality and motion coherence among state-of-the-art $360^\circ$ video generation methods. We believe Imagine360 holds promise for advancing personalized, immersive $360^\circ$ video creation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL