CineTransfer: Controlling a Robot to Imitate Cinematographic Style from a Single Example

要約

この作品では、入力ビデオの映画スタイルを模倣するビデオ シーケンスを記録するようにロボットを駆動するアルゴリズム フレームワークである CineTransfer を紹介します。
私たちは、入力ビデオの美的スタイルを抽象化する機能を提案します。これにより、ロボットはこのスタイルを、入力ビデオとは大幅に異なる視覚的な詳細を持つシーンに転送できます。
このフレームワークは、ユーザーが映画用カメラの内部機能と外部機能を操作することで、画像上の被写体の位置や被写界深度などの映画機能を制御できるツールである CineMPC を基盤としています。
ただし、CineMPC では、人間の専門家がショットの希望のスタイル (構図、カメラの動き、ズーム、フォーカスなど) を指定する必要があります。
CineTransfer はこのギャップを埋め、完全に自律的な映画プラットフォームを目指しています。
ユーザーは単一の入力ビデオをスタイル ガイドとして選択します。
CineTransfer は、画像内の被写体の構成とシーンの被写界深度という 2 つの重要なスタイル特徴を抽出して最適化し、これらの特徴にできるだけ一致する出力シーケンスを記録するようにロボットを制御するよう CineMPC に指示します。
他のスタイルの転送方法とは対照的に、私たちのアプローチは軽量で移植可能なフレームワークであり、深いネットワーク トレーニングや大規模なデータセットを必要としません。
実際のビデオとシミュレートされたビデオを使用した実験は、録画間でスタイルを分析して転送するシステムの機能を実証しており、補足ビデオで利用できます。

要約(オリジナル)

This work presents CineTransfer, an algorithmic framework that drives a robot to record a video sequence that mimics the cinematographic style of an input video. We propose features that abstract the aesthetic style of the input video, so the robot can transfer this style to a scene with visual details that are significantly different from the input video. The framework builds upon CineMPC, a tool that allows users to control cinematographic features, like subjects’ position on the image and the depth of field, by manipulating the intrinsics and extrinsics of a cinematographic camera. However, CineMPC requires a human expert to specify the desired style of the shot (composition, camera motion, zoom, focus, etc). CineTransfer bridges this gap, aiming a fully autonomous cinematographic platform. The user chooses a single input video as a style guide. CineTransfer extracts and optimizes two important style features, the composition of the subject in the image and the scene depth of field, and provides instructions for CineMPC to control the robot to record an output sequence that matches these features as closely as possible. In contrast with other style transfer methods, our approach is a lightweight and portable framework which does not require deep network training or extensive datasets. Experiments with real and simulated videos demonstrate the system’s ability to analyze and transfer style between recordings, and are available in the supplementary video.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google