Gesture-Controlled Aerial Robot Formation for Human-Swarm Interaction in Safety Monitoring Applications

要約

この論文では、マルチローター無人航空機 (UAV) のチームと人間の作業員の間の非接触ジェスチャーベースの人群インタラクション (HSI) のための編隊制御アプローチを紹介します。
このアプローチは、人間の作業者、特に高所で作業する作業者の安全を監視することを目的としています。
提案された動的編隊スキームでは、1 台の UAV が編隊のリーダーとして機能し、人間の作業員の検出とジェスチャ認識のためのセンサーが装備されています。
追従 UAV は作業員の位置に対して所定のフォーメーションを維持し、それによって監視されているシーンの追加の視点を提供します。
ハンドジェスチャーにより、人間の作業者は、追加の通信チャネルや特定のマーカーを必要とせずに、UAV チームの動きやアクション コマンドを指定し、他のミッション関連コマンドを開始することができます。
新しい統合人間検出および追跡アルゴリズム、人間姿勢推定アプローチ、およびジェスチャー検出パイプラインとともに、提案されたアプローチは、現実世界の UAV にこれらすべてのモジュールを組み込んだ HSI システムの最初のインスタンスを形成します。
モックアップ シナリオにおける 3 台の UAV と人間の作業員によるシミュレーションとフィールド実験により、提案されたアプローチの有効性と応答性が実証されました。

要約(オリジナル)

This paper presents a formation control approach for contactless gesture-based Human-Swarm Interaction (HSI) between a team of multi-rotor Unmanned Aerial Vehicles (UAVs) and a human worker. The approach is intended for monitoring the safety of human workers, especially those working at heights. In the proposed dynamic formation scheme, one UAV acts as the leader of the formation and is equipped with sensors for human worker detection and gesture recognition. The follower UAVs maintain a predetermined formation relative to the worker’s position, thereby providing additional perspectives of the monitored scene. Hand gestures allow the human worker to specify movements and action commands for the UAV team and initiate other mission-related commands without the need for an additional communication channel or specific markers. Together with a novel unified human detection and tracking algorithm, human pose estimation approach and gesture detection pipeline, the proposed approach forms a first instance of an HSI system incorporating all these modules onboard real-world UAVs. Simulations and field experiments with three UAVs and a human worker in a mock-up scenario showcase the effectiveness and responsiveness of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google