Active Human Pose Estimation via an Autonomous UAV Agent

要約

能動的観察者の中心的な活動の 1 つは、シーンの「より良い」ビューを確保するために移動することを含みます。「より良い」の定義はタスクによって異なります。
この論文は、人の活動を捉えたビデオから人間の姿勢を推定するタスクに焦点を当てています。
シーン内のセルフオクルージョンは人間の姿勢の正確な推定を複雑にしたり、妨げたりする可能性があります。
これに対処するには、ビューを明確にするためにカメラを新しい視点に再配置する必要があり、これにより 2D 人間の姿勢推定が改善されます。
この文書では、改善された視点を達成するプロセスを形式的に説明します。
この課題に対して私たちが提案するソリューションは、NeRF ベースのドローン ビュー データ生成フレームワーク、カメラ ビュー エラー推定のためのオンドローン ネットワーク、および
カメラビューの予測誤差。
データ生成フレームワークは、NeRF ベースの手法を利用して人間の姿勢と活動の包括的なデータセットを生成し、さまざまなシナリオにおけるドローンの適応性を高めます。
カメラ ビュー誤差推定ネットワークは、人間の現在の姿勢を評価し、ドローンにとって最も有望な次の視野角を特定し、それらの角度からの信頼性が高く正確な姿勢推定を保証するように設計されています。
最後に、複合プランナーはドローンの物理的および環境的制限を考慮しながらこれらの角度を組み込み、効率的なアルゴリズムを採用して安全で効果的な飛行経路をナビゲートします。
このシステムは、自律型 UAV エージェントのアクティブ 2D 人間姿勢推定における大幅な進歩を表しており、自律型人間姿勢推定のパフォーマンスを向上させ、UAV の運用の安全性と効率を維持することにより、航空映画撮影におけるアプリケーションに大きな可能性をもたらします。

要約(オリジナル)

One of the core activities of an active observer involves moving to secure a ‘better’ view of the scene, where the definition of ‘better’ is task-dependent. This paper focuses on the task of human pose estimation from videos capturing a person’s activity. Self-occlusions within the scene can complicate or even prevent accurate human pose estimation. To address this, relocating the camera to a new vantage point is necessary to clarify the view, thereby improving 2D human pose estimation. This paper formalizes the process of achieving an improved viewpoint. Our proposed solution to this challenge comprises three main components: a NeRF-based Drone-View Data Generation Framework, an On-Drone Network for Camera View Error Estimation, and a Combined Planner for devising a feasible motion plan to reposition the camera based on the predicted errors for camera views. The Data Generation Framework utilizes NeRF-based methods to generate a comprehensive dataset of human poses and activities, enhancing the drone’s adaptability in various scenarios. The Camera View Error Estimation Network is designed to evaluate the current human pose and identify the most promising next viewing angles for the drone, ensuring a reliable and precise pose estimation from those angles. Finally, the combined planner incorporates these angles while considering the drone’s physical and environmental limitations, employing efficient algorithms to navigate safe and effective flight paths. This system represents a significant advancement in active 2D human pose estimation for an autonomous UAV agent, offering substantial potential for applications in aerial cinematography by improving the performance of autonomous human pose estimation and maintaining the operational safety and efficiency of UAVs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google