Seeing Through Pixel Motion: Learning Obstacle Avoidance from Optical Flow with One Camera

要約

オプティカル フローは、画像シーケンス内のピクセルの動きを時間の経過とともにキャプチャし、動き、奥行き、環境構造に関する情報を提供します。
飛翔昆虫はこの情報を利用して障害物を回避したり回避したりするため、複雑な環境でも非常に機敏な操縦を実行できます。
その可能性にもかかわらず、自律飛行ロボットはまだこの動作情報を十分に活用して、同等のレベルの敏捷性と堅牢性を達成することができていません。
オプティカル フローからの制御の課題には、高速での正確なオプティカル フローの抽出、ノイズの多い推定の処理、複雑な環境での堅牢なパフォーマンスの確保などが含まれます。
これらの課題に対処するために、単眼オプティカル フローを使用したクアローター障害物回避のための新しいエンドツーエンド システムを提案します。
私たちは、簡略化されたクアローター モデルと組み合わせた効率的な微分可能シミュレーターを開発し、一次勾配最適化を通じてポリシーを直接トレーニングできるようにします。
さらに、集中フロー アテンション メカニズムとアクションガイド型アクティブ センシング戦略を導入し、タスク関連のオプティカル フロー観察へのポリシーの焦点を強化し、飛行中のより迅速な意思決定を可能にします。
当社のシステムは、FPV レーシング ドローンを使用したシミュレーションと現実世界の両方で検証されています。
シミュレーションの単純な環境でトレーニングされているにもかかわらず、当社のシステムはシミュレーションと FPV レーシング ドローンを使用した現実世界の両方で検証されています。
シミュレーションの単純な環境で訓練されているにもかかわらず、私たちのシステムは、現実世界のさまざまな未知の乱雑な環境で最大 6m/s の速度で機敏で堅牢な飛行を実証します。

要約(オリジナル)

Optical flow captures the motion of pixels in an image sequence over time, providing information about movement, depth, and environmental structure. Flying insects utilize this information to navigate and avoid obstacles, allowing them to execute highly agile maneuvers even in complex environments. Despite its potential, autonomous flying robots have yet to fully leverage this motion information to achieve comparable levels of agility and robustness. Challenges of control from optical flow include extracting accurate optical flow at high speeds, handling noisy estimation, and ensuring robust performance in complex environments. To address these challenges, we propose a novel end-to-end system for quadrotor obstacle avoidance using monocular optical flow. We develop an efficient differentiable simulator coupled with a simplified quadrotor model, allowing our policy to be trained directly through first-order gradient optimization. Additionally, we introduce a central flow attention mechanism and an action-guided active sensing strategy that enhances the policy’s focus on task-relevant optical flow observations to enable more responsive decision-making during flight. Our system is validated both in simulation and the real world using an FPV racing drone. Despite being trained in a simple environment in simulation, our system is validated both in simulation and the real world using an FPV racing drone. Despite being trained in a simple environment in simulation, our system demonstrates agile and robust flight in various unknown, cluttered environments in the real world at speeds of up to 6m/s.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google