AKiRa: Augmentation Kit on Rays for optical video generation

要約

テキスト条件付きビデオの普及における最近の進歩により、ビデオの品質は大幅に向上しました。
ただし、これらの方法では、動的なカメラの動き、ズーム、歪んだレンズ、フォーカスのシフトなど、カメラの側面についてユーザーが制御できる機能が限られているか、まったく制御できない場合があります。
これらの動きと光学的な側面は、生成フレームワークに制御性と映画的要素を追加するために重要であり、最終的には焦点を引き、気分を高め、映画製作者の制御に従って感情を導くビジュアル コンテンツをもたらします。
この論文では、制御可能なビデオ生成とカメラの光学系の間のギャップを埋めることを目的としています。
これを達成するために、既存のビデオ生成バックボーン上で複雑なカメラ モデルを使用してカメラ アダプターを構築およびトレーニングする新しい拡張フレームワークである AKiRa (Augmentation Kit on Rays) を提案します。
カメラの動きや複雑な光学パラメータ (焦点距離、歪み、絞り) を微調整して制御し、ズーム、魚眼効果、ボケなどの映画のような効果を実現します。
広範な実験により、カメラの光学系を組み合わせて構成する際の AKiRa の有効性が、あらゆる最先端の手法を上回ることが実証されました。
この成果は、制御され光学的に強化されたビデオ生成における新たなランドマークを設定し、将来の光学ビデオ生成方法への道を開きます。

要約(オリジナル)

Recent advances in text-conditioned video diffusion have greatly improved video quality. However, these methods offer limited or sometimes no control to users on camera aspects, including dynamic camera motion, zoom, distorted lens and focus shifts. These motion and optical aspects are crucial for adding controllability and cinematic elements to generation frameworks, ultimately resulting in visual content that draws focus, enhances mood, and guides emotions according to filmmakers’ controls. In this paper, we aim to close the gap between controllable video generation and camera optics. To achieve this, we propose AKiRa (Augmentation Kit on Rays), a novel augmentation framework that builds and trains a camera adapter with a complex camera model over an existing video generation backbone. It enables fine-tuned control over camera motion as well as complex optical parameters (focal length, distortion, aperture) to achieve cinematic effects such as zoom, fisheye effect, and bokeh. Extensive experiments demonstrate AKiRa’s effectiveness in combining and composing camera optics while outperforming all state-of-the-art methods. This work sets a new landmark in controlled and optically enhanced video generation, paving the way for future optical video generation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google