Exploring Deep Reinforcement Learning for Robust Target Tracking using Micro Aerial Vehicles

要約

非協力的な目標を自律的に追跡する機能は、超小型航空機の重要な技術要件です。
本稿では、視覚的接触を維持しながら飛行目標を持続的に追跡する超小型航空機を制御するための、深層強化学習に基づく出力フィードバック制御方式を提案します。
提案された方法は、制御に相対位置データを活用し、文献における関連アプローチに典型的な、完全な状態情報にアクセスできるという仮定を緩和します。
さらに、ドメインのランダム化を通じて学習プロセスで古典的な堅牢性指標を活用し、学習されたポリシーの堅牢性を高めます。
実験結果は、ターゲット追跡のための提案されたアプローチを検証し、質量不一致および制御遅延に関して高いパフォーマンスとロバスト性を実証しました。
結果として得られる非線形コントローラーは、多くの公称値を逸脱したシナリオにおいて、標準モデルベースの設計を大幅に上回ります。

要約(オリジナル)

The capability to autonomously track a non-cooperative target is a key technological requirement for micro aerial vehicles. In this paper, we propose an output feedback control scheme based on deep reinforcement learning for controlling a micro aerial vehicle to persistently track a flying target while maintaining visual contact. The proposed method leverages relative position data for control, relaxing the assumption of having access to full state information which is typical of related approaches in literature. Moreover, we exploit classical robustness indicators in the learning process through domain randomization to increase the robustness of the learned policy. Experimental results validate the proposed approach for target tracking, demonstrating high performance and robustness with respect to mass mismatches and control delays. The resulting nonlinear controller significantly outperforms a standard model-based design in numerous off-nominal scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google