Monocular Event-Based Vision for Obstacle Avoidance with a Quadrotor

要約

オンボードの単眼イベント カメラのみを使用した、クアッドローター用の最初の静的障害物回避方法を紹介します。
クアッドローターは、手動で操縦する場合、雑然とした環境でも高速かつ機敏な飛行が可能ですが、未知の環境での視覚ベースの自律飛行は、従来の車載カメラのセンサー制限のせいもあって困難です。
ただし、イベント カメラは、ほぼゼロのモーション ブラーと高いダイナミック レンジを約束しますが、重大なエゴモーションの下で非常に大量のイベントを生成し、さらにシミュレーションでは連続時間センサー モデルが欠如しているため、シミュレーションからリアルへの直接の転送が不可能です。
。
学習フレームワークの口実タスクとして深度予測を活用することで、近似されたシミュレートされたイベントを使用して反応的な障害物回避イベントから制御ポリシーを事前にトレーニングし、次に限定されたイベントと実際の深度を使用して知覚コンポーネントを微調整することができます。
屋内および屋外の設定で障害物を回避するための世界データ。
これを複数の設定で 2 つのクアッドローター イベント カメラ プラットフォームで実証したところ、従来のビジョンベースの作業とは対照的に、低速 (1m/s) ではタスクが難しくなり、衝突が起こりやすくなるのに対し、高速 (5m/s) では作業が困難になることがわかりました。
その結果、イベントベースの深度推定と回避が向上します。
また、屋外シーンでの成功率は、特定の屋内シーンよりも大幅に高くなる可能性があることもわかりました。

要約(オリジナル)

We present the first static-obstacle avoidance method for quadrotors using just an onboard, monocular event camera. Quadrotors are capable of fast and agile flight in cluttered environments when piloted manually, but vision-based autonomous flight in unknown environments is difficult in part due to the sensor limitations of traditional onboard cameras. Event cameras, however, promise nearly zero motion blur and high dynamic range, but produce a very large volume of events under significant ego-motion and further lack a continuous-time sensor model in simulation, making direct sim-to-real transfer not possible. By leveraging depth prediction as a pretext task in our learning framework, we can pre-train a reactive obstacle avoidance events-to-control policy with approximated, simulated events and then fine-tune the perception component with limited events-and-depth real-world data to achieve obstacle avoidance in indoor and outdoor settings. We demonstrate this across two quadrotor-event camera platforms in multiple settings and find, contrary to traditional vision-based works, that low speeds (1m/s) make the task harder and more prone to collisions, while high speeds (5m/s) result in better event-based depth estimation and avoidance. We also find that success rates in outdoor scenes can be significantly higher than in certain indoor scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google