VisFly: An Efficient and Versatile Simulator for Training Vision-based Flight

要約

強化学習アルゴリズムを使用してビジョンベースの飛行ポリシーを効率的にトレーニングするように設計されたクアッドローター シミュレーターである VisFly を紹介します。
VisFly は、ユーザーフレンドリーなフレームワークとインターフェイスを提供し、Habitat-Sim のレンダリング エンジンを活用して、モーション データとセンサー データのレンダリングで 10,000 フレーム/秒を超えるフレーム レートを実現します。
シミュレーターには微分可能な物理学が組み込まれており、ジム環境とシームレスに統合されているため、さまざまな学習アルゴリズムの簡単な実装が容易になります。
Habitat-Sim と互換性のあるすべてのオープンソース シーン データセットの直接インポートをサポートし、多様な現実世界の環境でのトレーニングを可能にし、学習した飛行ポリシーの公正な比較を保証します。
また、視覚観察に依存する 3 つの典型的な飛行タスクに対する一般的なポリシー アーキテクチャも提案します。これらは、強化学習を使用してシミュレータで検証されています。
シミュレーターは [https://github.com/SJTU-ViSYS/VisFly] で入手できます。

要約(オリジナル)

We present VisFly, a quadrotor simulator designed to efficiently train vision-based flight policies using reinforcement learning algorithms. VisFly offers a user-friendly framework and interfaces, leveraging Habitat-Sim’s rendering engines to achieve frame rates exceeding 10,000 frames per second for rendering motion and sensor data. The simulator incorporates differentiable physics and seamlessly integrates with the Gym environment, facilitating the straightforward implementation of various learning algorithms. It supports the direct import of all open-source scene datasets compatible with Habitat-Sim, enabling training on diverse real-world environments and ensuring fair comparisons of learned flight policies. We also propose a general policy architecture for three typical flight tasks relying on visual observations, which have been validated in our simulator using reinforcement learning. The simulator will be available at [https://github.com/SJTU-ViSYS/VisFly].

arxiv情報

提供元, 利用サービス

arxiv.jp, Google