FlightAR: AR Flight Assistance Interface with Multiple Video Streams and Object Detection Aimed at Immersive Drone Control

要約

無人航空機 (UAV) 技術の急速な進歩により、ヒューマン ドローン インタラクション (HDI) インターフェイスを開発するための新しい標準が必要になっています。
HDI 用のほとんどのインターフェイス、特に一人称視点 (FPV) ゴーグルでは、環境から情報を取得するオペレーターの能力が制限されます。
この論文では、UAV の一人称視点 (FPV) とボトムカメラのフィードの拡張現実 (AR) オーバーレイをヘッドマウント ディスプレイ (HMD) と統合して、パイロットの状況認識を強化する新しいインターフェイス FlightAR を紹介します。
FlightAR を使用するこのシステムは、パイロットに複数の UAV カメラからのビデオ ストリームを同時に提供するだけでなく、リアルタイムで周囲を観察する機能も提供します。
NASA-TLX および UEQ 調査によるユーザー評価では、物理的要求が低い ($\mu=1.8$、$SD = 0.8$) と良好なパフォーマンス ($\mu=3.4$、$SD = 0.8$) が示され、ユーザー評価がより優れていることが証明されました。
ベースラインの FPV ゴーグルとの比較。
参加者はまた、刺激 ($\mu=2.35$、$SD = 0.9$)、斬新さ ($\mu=2.1$、$SD = 0.9$)、魅力 ($\mu=1.97$、$SD) の点でシステムを高く評価しました。
= 1$)、肯定的なユーザー エクスペリエンスを示しています。
これらの結果は、強化された状況認識と直感的な制御を通じて UAV 操縦体験を向上させるシステムの可能性を示しています。
コードはここから入手できます: https://github.com/Sautenich/FlightAR

要約(オリジナル)

The swift advancement of unmanned aerial vehicle (UAV) technologies necessitates new standards for developing human-drone interaction (HDI) interfaces. Most interfaces for HDI, especially first-person view (FPV) goggles, limit the operator’s ability to obtain information from the environment. This paper presents a novel interface, FlightAR, that integrates augmented reality (AR) overlays of UAV first-person view (FPV) and bottom camera feeds with head-mounted display (HMD) to enhance the pilot’s situational awareness. Using FlightAR, the system provides pilots not only with a video stream from several UAV cameras simultaneously, but also the ability to observe their surroundings in real time. User evaluation with NASA-TLX and UEQ surveys showed low physical demand ($\mu=1.8$, $SD = 0.8$) and good performance ($\mu=3.4$, $SD = 0.8$), proving better user assessments in comparison with baseline FPV goggles. Participants also rated the system highly for stimulation ($\mu=2.35$, $SD = 0.9$), novelty ($\mu=2.1$, $SD = 0.9$) and attractiveness ($\mu=1.97$, $SD = 1$), indicating positive user experiences. These results demonstrate the potential of the system to improve UAV piloting experience through enhanced situational awareness and intuitive control. The code is available here: https://github.com/Sautenich/FlightAR

arxiv情報

提供元, 利用サービス

arxiv.jp, Google