UAV Control with Vision-based Hand Gesture Recognition over Edge-Computing

要約

ジェスチャー認識は、その直感的な性質と正確な相互作用の可能性のために、無人航空機（UAV）とのインターフェースのための有望な手段を提示します。
この研究では、UAVコントロールに合わせた視覚ベースのハンドジェスチャー検出方法論の包括的な比較分析を実施しています。
作物、ズーム、色ベースのセグメンテーションを含む既存のジェスチャー認識アプローチは、動的な条件でのこの種のアプリケーションにとってうまく機能し、距離と環境ノイズの増加に伴ってパフォーマンスに苦しむことはありません。
ジェスチャー認識に基づくUAVコントロールのために、ハンドランドマークの描画と分類を活用する新しいアプローチを使用することを提案します。
実験結果では、提案された方法が、さまざまな距離にわたる精度、ノイズの回復力、および有効性の点で他の既存の方法を上回り、したがって、堅牢な制御決定を提供することを示しています。
ただし、UAVのオンボードコンピューターにディープラーニングベースのコンピューティング集中ジェスチャー認識アルゴリズムを実装することは、パフォーマンスの点で非常に困難です。
したがって、より重いコンピューティングタスクをオフロードするために、エッジコンピューティングベースのフレームワークを使用して、クローズドループのリアルタイムパフォーマンスを実現することを提案します。
Airsim SimulatorおよびReal World UAVを介した実装により、エンドツーエンドのジェスチャー認識ベースのUAV制御システムの利点を紹介します。

要約(オリジナル)

Gesture recognition presents a promising avenue for interfacing with unmanned aerial vehicles (UAVs) due to its intuitive nature and potential for precise interaction. This research conducts a comprehensive comparative analysis of vision-based hand gesture detection methodologies tailored for UAV Control. The existing gesture recognition approaches involving cropping, zooming, and color-based segmentation, do not work well for this kind of applications in dynamic conditions and suffer in performance with increasing distance and environmental noises. We propose to use a novel approach leveraging hand landmarks drawing and classification for gesture recognition based UAV control. With experimental results we show that our proposed method outperforms the other existing methods in terms of accuracy, noise resilience, and efficacy across varying distances, thus providing robust control decisions. However, implementing the deep learning based compute intensive gesture recognition algorithms on the UAV’s onboard computer is significantly challenging in terms of performance. Hence, we propose to use a edge-computing based framework to offload the heavier computing tasks, thus achieving closed-loop real-time performance. With implementation over AirSim simulator as well as over a real-world UAV, we showcase the advantage of our end-to-end gesture recognition based UAV control system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google