Learning to Assist and Communicate with Novice Drone Pilots for Expert Level Performance

要約

検査および着陸タスクを含む無人航空機 (UAV) のマルチタスク ミッションは、奥行き認識と制御インターフェイスに関連する難しさのため、初心者のパイロットにとっては困難です。
私たちは、パイロットが訓練を受けずに複数のタスクを伴うミッションを成功裏に完了できるように、補助情報ディスプレイと並行して自律共有システムを提案します。
私たちのアプローチは 3 つのモジュールで構成されます: (1) 視覚情報を潜在表現にエンコードする認識モジュール、(2) パイロットの行動を拡張するポリシー モジュール、(3) パイロットに追加情報を提供する情報拡張モジュール。
ポリシー モジュールは、シミュレートされたユーザーを使用したシミュレーションでトレーニングされ、学習された赤/青の光フィードバック キューや拡張現実ディスプレイなどの補足情報スキームとともに、ユーザー調査 (n=29) で変更することなく現実世界に転送されます。
パイロットの意図はポリシー モジュールには不明であり、パイロットの入力と UAV の状態から推測されます。
アシスタントは、着陸タスクと検査タスクのタスク成功率をそれぞれ [16.67% & 54.29%] から [95.59% & 96.22%] に増加させました。
アシスタントを使用すると、経験の浅いパイロットも経験豊富なパイロットと同等のパフォーマンスを達成できました。
赤/緑の光フィードバック キューにより、検査タスクに必要な時間が 19.53% 短縮され、軌跡の長さが 17.86% 短縮されました。参加者は、直観的なインターフェイスと安心感のおかげで、それを好ましい条件として評価しました。
この研究は、単純なユーザー モデルが共有自律システムをシミュレーションでトレーニングし、物理的なタスクに移行してユーザーの意図を推定し、パイロットに効果的な支援と情報を提供できることを示しています。

要約(オリジナル)

Multi-task missions for unmanned aerial vehicles (UAVs) involving inspection and landing tasks are challenging for novice pilots due to the difficulties associated with depth perception and the control interface. We propose a shared autonomy system, alongside supplementary information displays, to assist pilots to successfully complete multi-task missions without any pilot training. Our approach comprises of three modules: (1) a perception module that encodes visual information onto a latent representation, (2) a policy module that augments pilot’s actions, and (3) an information augmentation module that provides additional information to the pilot. The policy module is trained in simulation with simulated users and transferred to the real world without modification in a user study (n=29), alongside supplementary information schemes including learnt red/green light feedback cues and an augmented reality display. The pilot’s intent is unknown to the policy module and is inferred from the pilot’s input and UAV’s states. The assistant increased task success rate for the landing and inspection tasks from [16.67% & 54.29%] respectively to [95.59% & 96.22%]. With the assistant, inexperienced pilots achieved similar performance to experienced pilots. Red/green light feedback cues reduced the required time by 19.53% and trajectory length by 17.86% for the inspection task, where participants rated it as their preferred condition due to the intuitive interface and providing reassurance. This work demonstrates that simple user models can train shared autonomy systems in simulation, and transfer to physical tasks to estimate user intent and provide effective assistance and information to the pilot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google