OmniRace: 6D Hand Pose Estimation for Intuitive Guidance of Racing Drone

要約

この論文では、6 自由度 (DoF) の手姿勢推定とジェスチャー認識を備えたレーシング ドローンを制御するための OmniRace アプローチを紹介します。
私たちの知る限り、これはジェスチャーを使用して高速ドローンの低レベル制御を可能にする史上初のテクノロジーです。
OmniRace は、コンピューター ビジョンとディープ ニューラル ネットワークに基づくジェスチャ インターフェイスを採用して、6-DoF の手のポーズを推定します。
高度な機械学習アルゴリズムは人間のジェスチャーを堅牢に解釈し、ユーザーがドローンの動きを直感的に制御できるようにします。
レーシングドローンのリアルタイム制御はシステムの有効性を実証し、ドローンレースやその他のアプリケーションに革命をもたらす可能性を検証します。
Gazebo シミュレーション環境で実施された実験結果では、OmniRace を使用すると、ユーザーが UAV レース トラックを大幅に (25.1%) 速く完走でき、テスト ドローンの経路の長さを短縮 (102.9 メートルから 83.7 メートルに) できることが明らかになりました。
ユーザーは、魅力度 (UEQ スコア 1.57)、快楽の質 (UEQ スコア 1.56)、知覚される時間的要求の低さ (NASA-TLX スコア 32.0) の点でジェスチャー インターフェイスを好みましたが、効率の高さ (UEQ スコア 0.75) と物理的要求の低さに注目しました (
NASA-TLX で 19.0 スコア) のベースライン リモート コントローラー。
ディープ ニューラル ネットワークは、正規化されたデータセットと生のデータセットの両方に適用された場合、平均 99.75% の精度を達成します。
OmniRace は、動的で複雑な環境で人間がレーシング ドローンと対話し、操縦する方法を変える可能性があります。
ソース コードは https://github.com/SerValera/OmniRace.git で入手できます。

要約(オリジナル)

This paper presents the OmniRace approach to controlling a racing drone with 6-degree of freedom (DoF) hand pose estimation and gesture recognition. To our knowledge, it is the first-ever technology that allows for low-level control of high-speed drones using gestures. OmniRace employs a gesture interface based on computer vision and a deep neural network to estimate a 6-DoF hand pose. The advanced machine learning algorithm robustly interprets human gestures, allowing users to control drone motion intuitively. Real-time control of a racing drone demonstrates the effectiveness of the system, validating its potential to revolutionize drone racing and other applications. Experimental results conducted in the Gazebo simulation environment revealed that OmniRace allows the users to complite the UAV race track significantly (by 25.1%) faster and to decrease the length of the test drone path (from 102.9 to 83.7 m). Users preferred the gesture interface for attractiveness (1.57 UEQ score), hedonic quality (1.56 UEQ score), and lower perceived temporal demand (32.0 score in NASA-TLX), while noting the high efficiency (0.75 UEQ score) and low physical demand (19.0 score in NASA-TLX) of the baseline remote controller. The deep neural network attains an average accuracy of 99.75% when applied to both normalized datasets and raw datasets. OmniRace can potentially change the way humans interact with and navigate racing drones in dynamic and complex environments. The source code is available at https://github.com/SerValera/OmniRace.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google