JAWS: Just A Wild Shot for Cinematic Transfer in Neural Radiance Fields

要約

このホワイト ペーパーでは、JAWS を紹介します。これは、参照用のビデオ クリップから新たに生成されたクリップへのビジュアル シネマティック機能の堅牢な転送を実現する最適化主導のアプローチです。
この目的のために、参照クリップと同じシネマティック機能を共有するクリップを計算する方法で、暗黙的神経表現 (INR) に依存しています。
外部および内部カメラ パラメータとタイミングを計算する INR でのカメラ最適化問題の一般的な定式化を提案します。
ニューラル表現の微分可能性を活用することで、プロキシ推定器で測定された設計されたシネマティック損失を、NeRF ネットワークを介して提案されたシネマティック パラメーターに直接逆伝播できます。
また、ガイダンス マップなどの特定の拡張機能を導入して、全体的な品質と効率を向上させます。
結果は、参照クリップとの類似性を最大化するために生成されたビデオ クリップのフレーミング、カメラ パラメーター、およびタイミングを調整して、映画からよく知られているカメラ シーケンスを複製するシステムの能力を示しています。

要約(オリジナル)

This paper presents JAWS, an optimization-driven approach that achieves the robust transfer of visual cinematic features from a reference in-the-wild video clip to a newly generated clip. To this end, we rely on an implicit-neural-representation (INR) in a way to compute a clip that shares the same cinematic features as the reference clip. We propose a general formulation of a camera optimization problem in an INR that computes extrinsic and intrinsic camera parameters as well as timing. By leveraging the differentiability of neural representations, we can back-propagate our designed cinematic losses measured on proxy estimators through a NeRF network to the proposed cinematic parameters directly. We also introduce specific enhancements such as guidance maps to improve the overall quality and efficiency. Results display the capacity of our system to replicate well known camera sequences from movies, adapting the framing, camera parameters and timing of the generated video clip to maximize the similarity with the reference clip.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google