Onboard View Planning of a Flying Camera for High Fidelity 3D Reconstruction of a Moving Actor

要約

人間の俳優の動きをキャプチャして再構築することは、映画制作やゲームにとって重要です。
現在、ピクセルレベルの高忠実度の再構成には、静止カメラを備えたモーション キャプチャ システムが使用されています。
このようなセットアップは費用がかかり、設置と調整が必要であり、さらに重要なことに、ユーザーが所定のエリアに制限されることになります。
この研究では、これらの制限を軽減できるドローンベースのモーション キャプチャ システムを紹介します。
高品質の再構成を実現するために重要な、完全なシステム実装とスタディ ビュー プランニングを紹介します。
ドローンベースのキャプチャ システムのビュー プランニングにおける主な課題は、モーション キャプチャ中にビュー プランニングを実行する必要があることです。
この課題に対処するために、単純な幾何学的プリミティブを導入し、それらがビュー計画に使用できることを示します。
具体的には、再構成品質プロキシとしてエリアごとのピクセル (PPA) を導入し、俳優を表す単純な幾何学的形状の顔の PPA を最大化することによってビューを平面図にします。
シミュレーション実験を通じて、PPA が再構成の品質と高い相関があることを示します。
また、私たちのシステムが高品質の動的な 3D 再構成を生成できることを示す実世界の実験も行っています。
シミュレーション実験のコードをリンクで共有します: https://github.com/Qingyuan-Jiang/view_planning_3dhuman

要約(オリジナル)

Capturing and reconstructing a human actor’s motion is important for filmmaking and gaming. Currently, motion capture systems with static cameras are used for pixel-level high-fidelity reconstructions. Such setups are costly, require installation and calibration and, more importantly, confine the user to a predetermined area. In this work, we present a drone-based motion capture system that can alleviate these limitations. We present a complete system implementation and study view planning which is critical for achieving high-quality reconstructions. The main challenge for view planning for a drone-based capture system is that it needs to be performed during motion capture. To address this challenge, we introduce simple geometric primitives and show that they can be used for view planning. Specifically, we introduce Pixel-Per-Area (PPA) as a reconstruction quality proxy and plan views by maximizing the PPA of the faces of a simple geometric shape representing the actor. Through experiments in simulation, we show that PPA is highly correlated with reconstruction quality. We also conduct real-world experiments showing that our system can produce dynamic 3D reconstructions of good quality. We share our code for the simulation experiments in the link: https://github.com/Qingyuan-Jiang/view_planning_3dhuman

arxiv情報

提供元, 利用サービス

arxiv.jp, Google