Gesture-Controlled Aerial Robot Formation for Human-Swarm Interaction in Safety Monitoring Applications

要約

この論文では、マルチローター無人航空機 (UAV) のチームと人間の作業員の間の非接触ジェスチャーベースの人群インタラクション (HSI) のための編隊制御アプローチを紹介します。
このアプローチは、人間の作業者、特に高所で作業する作業者の安全を監視するように設計されています。
提案された動的編隊スキームでは、1 台の UAV が編隊リーダーとして機能し、人間の作業員を検出し、ジェスチャーを認識するためのセンサーが装備されています。
後続の UAV は作業員の位置に対して所定のフォーメーションを維持し、監視されているシーンの追加の視点を提供します。
ハンドジェスチャーにより、人間の作業者は、追加の通信チャネルや特定のマーカーを必要とせずに、UAV チームの移動およびアクション コマンドを指定し、他のミッション関連タスクを開始することができます。
新しい統合された人間検出および追跡アルゴリズム、人間の位置推定方法、およびジェスチャ検出パイプラインと組み合わせた、提案されたアプローチは、現実世界の UAV にこれらすべてのモジュールを組み込んだ HSI システムの最初のインスタンスを表します。
モックアップ シナリオにおける 3 台の UAV と人間の作業員を含むシミュレーションとフィールド実験により、提案されたアプローチの有効性と応答性が実証されました。

要約(オリジナル)

This paper presents a formation control approach for contactless gesture-based Human-Swarm Interaction (HSI) between a team of multi-rotor Unmanned Aerial Vehicles (UAVs) and a human worker. The approach is designed to monitor the safety of human workers, particularly those operating at heights. In the proposed dynamic formation scheme, one UAV acts as the formation leader, equipped with sensors for detecting human workers and recognizing gestures. The follower UAVs maintain a predetermined formation relative to the worker’s position, providing additional perspectives of the monitored scene. Hand gestures enable the human worker to specify movement and action commands for the UAV team and to initiate other mission-related tasks without requiring additional communication channels or specific markers. Combined with a novel unified human detection and tracking algorithm, a human position estimation method, and a gesture detection pipeline, the proposed approach represents the first instance of an HSI system incorporating all these modules onboard real-world UAVs. Simulations and field experiments involving three UAVs and a human worker in a mock-up scenario demonstrate the effectiveness and responsiveness of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google