Aesthetics Driven Autonomous Time-Lapse Photography Generation by Virtual and Real Robots

要約

タイムラプス撮影は、短い時間で時間の経過を反映し、視覚的な魅力を高めることができるため、映画やプロモーション フィルムで使用されます。
しかし、撮影に時間がかかり、安定した撮影が求められるため、撮影者にとっては大きなチャレンジです。
この記事では、バーチャル ロボットとリアル ロボットを使用したタイムラプス撮影システムを提案します。
ユーザーがタイムラプス動画を効率的に撮影できるようにするために、まずタイムラプス撮影をパラメーター化し、パラメーターの最適化手法を提案します。
さまざまなパラメーターについて、画像およびビデオの美的品質評価ネットワークを含むさまざまな美的モデルを使用して、最適なパラメーターを生成します。
次に、ユーザーがパラメーターを表示および調整し、仮想ロボットを使用して 3 次元シーンで仮想写真を実行できるようにするタイムラプス写真インターフェイスを提案します。
また、システムはパラメーターをエクスポートして実際のロボットに提供し、タイムラプス ビデオを現実の世界で撮影できるようにすることもできます。
さらに、タイムラプス動画の美的品質を自動的に評価できるタイムラプス写真の美的評価方法を提案します。
実験結果は、我々の方法がタイムラプスビデオを効率的に取得できることを示しています。
また、ユーザー調査も行っています。
結果は、私たちのシステムがプロの写真家と同様の効果を持ち、より効率的であることを示しています.

要約(オリジナル)

Time-lapse photography is employed in movies and promotional films because it can reflect the passage of time in a short time and strengthen the visual attraction. However, since it takes a long time and requires the stable shooting, it is a great challenge for the photographer. In this article, we propose a time-lapse photography system with virtual and real robots. To help users shoot time-lapse videos efficiently, we first parameterize the time-lapse photography and propose a parameter optimization method. For different parameters, different aesthetic models, including image and video aesthetic quality assessment networks, are used to generate optimal parameters. Then we propose a time-lapse photography interface to facilitate users to view and adjust parameters and use virtual robots to conduct virtual photography in a three-dimensional scene. The system can also export the parameters and provide them to real robots so that the time-lapse videos can be filmed in the real world. In addition, we propose a time-lapse photography aesthetic assessment method that can automatically evaluate the aesthetic quality of time-lapse video. The experimental results show that our method can efficiently obtain the time-lapse videos. We also conduct a user study. The results show that our system has the similar effect as professional photographers and is more efficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google