Reinforcement Learning-based Fault-Tolerant Control for Quadrotor with Online Transformer Adaptation

要約

マルチローターは、多様なフィールドロボットアプリケーションで重要な役割を果たしていますが、アクチュエータの障害に非常に影響を受けやすく、急速な不安定性とミッションの信頼性の低下につながります。
補強学習（RL）を使用したさまざまな障害耐性制御（FTC）戦略は広く調査されていますが、以前のアプローチのほとんどは、マルチローターモデルの事前知識または新しい構成に適応するために苦労する必要があります。
これらの制限に対処するために、トランスベースのオンライン適応モジュールと統合された新しいハイブリッドRLベースのFTCフレームワークを提案します。
当社のフレームワークは、変圧器アーキテクチャを活用してリアルタイムで潜在的な表現を推測し、再訓練なしで以前に見えなかったシステムモデルへの適応を可能にします。
効果の低下アクチュエーター断層の下でのpybulletシミュレーションでの方法を評価し、95％の成功率と0.129 mの位置根平均平方根誤差（RMSE）を達成し、86％の成功と0.153 mのRMSEを上回る既存の適応方法を上回ります。
さまざまな構成を備えた四角体のさらなる評価は、訓練されていないダイナミクス全体のフレームワークの堅牢性を確認します。
これらの結果は、マルチローターの適応性と信頼性を高めるためのフレームワークの可能性を示しており、動的および不確実な環境で効率的な障害管理を可能にします。
ウェブサイトはhttp://00dhkim.me/paper/rl-ftcで入手できます

要約(オリジナル)

Multirotors play a significant role in diverse field robotics applications but remain highly susceptible to actuator failures, leading to rapid instability and compromised mission reliability. While various fault-tolerant control (FTC) strategies using reinforcement learning (RL) have been widely explored, most previous approaches require prior knowledge of the multirotor model or struggle to adapt to new configurations. To address these limitations, we propose a novel hybrid RL-based FTC framework integrated with a transformer-based online adaptation module. Our framework leverages a transformer architecture to infer latent representations in real time, enabling adaptation to previously unseen system models without retraining. We evaluate our method in a PyBullet simulation under loss-of-effectiveness actuator faults, achieving a 95% success rate and a positional root mean square error (RMSE) of 0.129 m, outperforming existing adaptation methods with 86% success and an RMSE of 0.153 m. Further evaluations on quadrotors with varying configurations confirm the robustness of our framework across untrained dynamics. These results demonstrate the potential of our framework to enhance the adaptability and reliability of multirotors, enabling efficient fault management in dynamic and uncertain environments. Website is available at http://00dhkim.me/paper/rl-ftc

arxiv情報

提供元, 利用サービス

arxiv.jp, Google