Vision-driven UAV River Following: Benchmarking with Safe Reinforcement Learning

要約

この研究では、Unity ベースのフォトリアリスティックなシミュレーション環境で、無人航空機 (UAV) のビジョン駆動型河川追跡タスクのための安全強化学習 (Safe RL) アルゴリズムの包括的なベンチマークを実行します。
私たちは、相対エントロピーと水ピクセル再構成の品質に基づいてその優位性を評価し、セマンティック拡張画像符号化法の有効性を経験的に検証します。
再構成損失に基づいてエンコード次元を決定すると、よりコンパクトな状態表現に貢献し、安全な RL ポリシーのトレーニングが容易になります。
ベンチマークされたすべての Safe RL アルゴリズムにわたって、ポリシー空間の一次制約付き最適化により、報酬の獲得と安全コンプライアンスの最適なバランスが達成されることがわかりました。
特に、私たちの結果は、トレーニング環境とテスト環境の両方で、オンポリシー アルゴリズムがオフポリシー アルゴリズムとモデルベースのアルゴリズムよりも一貫して優れていることを明らかにしています。
重要なのは、ベンチマークの結果とビジョン エンコーディングの方法論が UAV を超えて拡張され、限定海域での自律航行に従事する自律水上車両 (ASV) にも適用できることです。

要約(オリジナル)

In this study, we conduct a comprehensive benchmark of the Safe Reinforcement Learning (Safe RL) algorithms for the task of vision-driven river following of Unmanned Aerial Vehicle (UAV) in a Unity-based photo-realistic simulation environment. We empirically validate the effectiveness of semantic-augmented image encoding method, assessing its superiority based on Relative Entropy and the quality of water pixel reconstruction. The determination of the encoding dimension, guided by reconstruction loss, contributes to a more compact state representation, facilitating the training of Safe RL policies. Across all benchmarked Safe RL algorithms, we find that First Order Constrained Optimization in Policy Space achieves the optimal balance between reward acquisition and safety compliance. Notably, our results reveal that on-policy algorithms consistently outperform both off-policy and model-based counterparts in both training and testing environments. Importantly, the benchmarking outcomes and the vision encoding methodology extend beyond UAVs, and are applicable to Autonomous Surface Vehicles (ASVs) engaged in autonomous navigation in confined waters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google