Demonstrating Agile Flight from Pixels without State Estimation

要約

クアッドローターは、最も機敏な飛行ロボットの 1 つです。
学習ベースの制御とコンピュータービジョンの最近の進歩にもかかわらず、自律型ドローンは依然として明示的な状態推定に依存しています。
一方、人間のパイロットは、プラットフォームを限界まで押し上げ、目に見えない環境で堅牢に飛行するために、ドローンの搭載カメラからの一人称視点のビデオ ストリームのみに依存します。
私たちの知る限り、ピクセルを制御コマンドに直接マッピングしながら、一連のゲートを高速で自律的にナビゲートする初のビジョンベースのクアローター システムを紹介します。
プロのドローン レース パイロットと同様に、私たちのシステムは明示的な状態推定を使用せず、人間が使用するものと同じ制御コマンド (集団推力と機体速度) を活用します。
最大2gの加速度で時速40kmまでの速度で機敏な飛行を実証します。
これは、強化学習 (RL) を使用してビジョンベースのポリシーをトレーニングすることで実現されます。
トレーニングは、特権情報にアクセスできる非対称のアクターと批評家を使用して促進されます。
画像ベースの RL トレーニング中の計算の複雑さを克服するために、ゲートの内側のエッジをセンサーの抽象化として使用します。
このシンプルかつ堅牢なタス​​ク関連の表現は、画像をレンダリングせずにトレーニング中にシミュレートできます。
導入時には、Swin トランスベースのゲート検出器が使用されます。
私たちのアプローチは、標準的な既製のハードウェアを使用した自律的な機敏な飛行を可能にします。
私たちのデモンストレーションはドローンレースに焦点を当てていますが、私たちはこの方法がドローンレースを超えた影響を及ぼし、構造化された環境における現実世界のアプリケーションの将来の研究の基盤として役立つと信じています。

要約(オリジナル)

Quadrotors are among the most agile flying robots. Despite recent advances in learning-based control and computer vision, autonomous drones still rely on explicit state estimation. On the other hand, human pilots only rely on a first-person-view video stream from the drone onboard camera to push the platform to its limits and fly robustly in unseen environments. To the best of our knowledge, we present the first vision-based quadrotor system that autonomously navigates through a sequence of gates at high speeds while directly mapping pixels to control commands. Like professional drone-racing pilots, our system does not use explicit state estimation and leverages the same control commands humans use (collective thrust and body rates). We demonstrate agile flight at speeds up to 40km/h with accelerations up to 2g. This is achieved by training vision-based policies with reinforcement learning (RL). The training is facilitated using an asymmetric actor-critic with access to privileged information. To overcome the computational complexity during image-based RL training, we use the inner edges of the gates as a sensor abstraction. This simple yet robust, task-relevant representation can be simulated during training without rendering images. During deployment, a Swin-transformer-based gate detector is used. Our approach enables autonomous agile flight with standard, off-the-shelf hardware. Although our demonstration focuses on drone racing, we believe that our method has an impact beyond drone racing and can serve as a foundation for future research into real-world applications in structured environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google