Multi-Task Reinforcement Learning for Quadrotors

要約

強化学習 (RL) はクアッドローター制御で優れた効果を示しており、特殊なポリシーにより単一タスクのシナリオで人間のチャンピオンレベルのパフォーマンスを開発できるようになります。
ただし、これらの特殊なポリシーは、新しいタスクに苦労することが多く、ポリシーを最初から完全に再トレーニングする必要があります。
この制限に対処するために、この論文では、プラットフォームの共有物理ダイナミクスを活用してサンプル効率とタスクのパフォーマンスを向上させる、クワッドローター制御に合わせた新しいマルチタスク強化学習 (MTRL) フレームワークを紹介します。
マルチクリティカル アーキテクチャと共有タスク エンコーダを採用することで、当社のフレームワークはタスク間での知識の伝達を容易にし、単一のポリシーで高速安定化、速度追跡、自律レースなどの多様な操作を実行できるようにします。
シミュレーションと現実世界のシナリオの両方で検証された実験結果は、サンプル効率と全体的なタスクのパフォーマンスの点で、フレームワークがベースラインのアプローチよりも優れていることを示しています。

要約(オリジナル)

Reinforcement learning (RL) has shown great effectiveness in quadrotor control, enabling specialized policies to develop even human-champion-level performance in single-task scenarios. However, these specialized policies often struggle with novel tasks, requiring a complete retraining of the policy from scratch. To address this limitation, this paper presents a novel multi-task reinforcement learning (MTRL) framework tailored for quadrotor control, leveraging the shared physical dynamics of the platform to enhance sample efficiency and task performance. By employing a multi-critic architecture and shared task encoders, our framework facilitates knowledge transfer across tasks, enabling a single policy to execute diverse maneuvers, including high-speed stabilization, velocity tracking, and autonomous racing. Our experimental results, validated both in simulation and real-world scenarios, demonstrate that our framework outperforms baseline approaches in terms of sample efficiency and overall task performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google