HGIC: A Hand Gesture Based Interactive Control System for Efficient and Scalable Multi-UAV Operations

要約

技術の進歩によりマルチ無人航空機システム (mUAV) の機能が拡大し続ける中、人間のオペレーターは、動作の調整やチームの調整に関連する複雑な認知負荷と操作により、スケーラビリティと効率の面で課題に直面しています。
このような認知的要求により、mUAV チームの実現可能な規模が制限され、大規模なオペレーターのトレーニングが必要となり、より広範な導入が妨げられています。
この論文では、ハンド ジェスチャ ベースのインタラクティブ コントロール (HGIC) を開発しました。これは、コンピュータ ビジョン技術を利用して、ハンド ジェスチャをロボット チーム化のためのモジュール式コマンドに直観的に変換する新しいインターフェイス システムです。
これらのコマンドは、学習制御モデルを通じて、効率的かつスケーラブルな mUAV モーション制御と調整を可能にします。
HGIC は特殊なハードウェアの必要性を排除し、次の 2 つの重要な利点を提供します。1) 自然なジェスチャーによる最小限のトレーニング要件。
2) 適応可能なコマンドによる拡張性と効率の向上。
HGIC は、オペレーターの認知的負担を軽減することで、複雑で動的かつ不確実なシナリオにおいて、より効果的な大規模 mUAV アプリケーションへの扉を開きます。
HGIC は、論文が研究コミュニティ向けにオンラインで公開された後、オープンソース化され、ヒトと mUAV の相互作用におけるイノベーションを推進することを目指しています。

要約(オリジナル)

As technological advancements continue to expand the capabilities of multi unmanned-aerial-vehicle systems (mUAV), human operators face challenges in scalability and efficiency due to the complex cognitive load and operations associated with motion adjustments and team coordination. Such cognitive demands limit the feasible size of mUAV teams and necessitate extensive operator training, impeding broader adoption. This paper developed a Hand Gesture Based Interactive Control (HGIC), a novel interface system that utilize computer vision techniques to intuitively translate hand gestures into modular commands for robot teaming. Through learning control models, these commands enable efficient and scalable mUAV motion control and adjustments. HGIC eliminates the need for specialized hardware and offers two key benefits: 1) Minimal training requirements through natural gestures; and 2) Enhanced scalability and efficiency via adaptable commands. By reducing the cognitive burden on operators, HGIC opens the door for more effective large-scale mUAV applications in complex, dynamic, and uncertain scenarios. HGIC will be open-sourced after the paper being published online for the research community, aiming to drive forward innovations in human-mUAV interactions.

arxiv情報

著者 Mengsha Hu,Jinzhou Li,Runxiang Jin,Chao Shi,Lei Xu,Rui Liu
発行日 2024-03-08 17:41:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO パーマリンク