CineMPC: A Fully Autonomous Drone Cinematography System Incorporating Zoom, Focus, Pose, and Scene Composition

要約

私たちは、ユーザーが指定した美的目的を記録する複数のターゲットを撮影するためにドローンを自律的に制御する完全な映画撮影システムである CineMPC を紹介します。
自律映画撮影における既存のソリューションは、カメラの外部要素、つまり位置と向きのみを制御します。
対照的に、CineMPC は、制御ループにカメラ固有のパラメーターを組み込んだ最初のソリューションです。これらのパラメーターは、フォーカス、被写界深度、ズームなどの映画効果を制御するために不可欠なツールです。
このシステムは、RGB-D 画像からターゲットとカメラ間の相対的な姿勢を推定し、外部および内部のカメラ パラメータの軌道を最適化して、ユーザーが指定した芸術的および技術的要件を撮影します。
ドローンとカメラは、シーンの現在の状況に応じて各タイム ステップで軌道を再最適化することにより、非線形モデル予測制御 (MPC) ループで制御されます。
CineMPC の知覚システムは、カメラの影響にもかかわらず、ターゲットの位置と方向を追跡できます。
フォトリアリスティックなシミュレーションと実際のプラットフォームを使用した実験では、カメラ固有の制御なしでは不可能なあらゆる映画効果を実現するシステムの機能を実証します。
CineMPC のコードは、ROS のモジュラー アーキテクチャに従って実装され、コミュニティにリリースされます。

要約(オリジナル)

We present CineMPC, a complete cinematographic system that autonomously controls a drone to film multiple targets recording user-specified aesthetic objectives. Existing solutions in autonomous cinematography control only the camera extrinsics, namely its position, and orientation. In contrast, CineMPC is the first solution that includes the camera intrinsic parameters in the control loop, which are essential tools for controlling cinematographic effects like focus, depth-of-field, and zoom. The system estimates the relative poses between the targets and the camera from an RGB-D image and optimizes a trajectory for the extrinsic and intrinsic camera parameters to film the artistic and technical requirements specified by the user. The drone and the camera are controlled in a nonlinear Model Predicted Control (MPC) loop by re-optimizing the trajectory at each time step in response to current conditions in the scene. The perception system of CineMPC can track the targets’ position and orientation despite the camera effects. Experiments in a photorealistic simulation and with a real platform demonstrate the capabilities of the system to achieve a full array of cinematographic effects that are not possible without the control of the intrinsics of the camera. Code for CineMPC is implemented following a modular architecture in ROS and released to the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google