Vision Transformers for End-to-End Vision-Based Quadrotor Obstacle Avoidance

要約

私たちは、さまざまな最先端のアーキテクチャと比較して、密集した乱雑な環境における高速クアローター障害物回避のための注意ベースのエンドツーエンド アプローチの機能を実証します。
Quadrotor 無人航空機 (UAV) は、高速飛行すると驚異的な機動性を発揮します。
しかし、飛行速度が増加するにつれて、独立したマッピング、計画、および制御モジュールを介した従来のビジョンベースのナビゲーションは、センサーノイズの増加、エラーの複合化、および処理遅延の増加により機能しなくなります。
したがって、学習ベースのエンドツーエンドの計画および制御ネットワークは、雑然とした環境でこれらの高速ロボットをオンライン制御するのに効果的であることが示されています。
私たちは、畳み込みアーキテクチャ、U-Net アーキテクチャ、およびリカレント アーキテクチャを、深度ベースのエンドツーエンド制御のためのビジョン トランスフォーマ モデルに対して、フォトリアリスティックで物理忠実度の高いシミュレータおよびハードウェアでトレーニングおよび比較し、注目が集まっていることを観察しました。
ベースのモデルは、クワッドローターの速度が上がるにつれてより効果的になりますが、多くのレイヤーを含むリカレント モデルは、低速でもよりスムーズなコマンドを提供します。
私たちの知る限り、これはエンドツーエンドのビジョンベースのクアッドローター制御にビジョントランスフォーマーを利用した最初の研究です。

要約(オリジナル)

We demonstrate the capabilities of an attention-based end-to-end approach for high-speed quadrotor obstacle avoidance in dense, cluttered environments, with comparison to various state-of-the-art architectures. Quadrotor unmanned aerial vehicles (UAVs) have tremendous maneuverability when flown fast; however, as flight speed increases, traditional vision-based navigation via independent mapping, planning, and control modules breaks down due to increased sensor noise, compounding errors, and increased processing latency. Thus, learning-based, end-to-end planning and control networks have shown to be effective for online control of these fast robots through cluttered environments. We train and compare convolutional, U-Net, and recurrent architectures against vision transformer models for depth-based end-to-end control, in a photorealistic, high-physics-fidelity simulator as well as in hardware, and observe that the attention-based models are more effective as quadrotor speeds increase, while recurrent models with many layers provide smoother commands at lower speeds. To the best of our knowledge, this is the first work to utilize vision transformers for end-to-end vision-based quadrotor control.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google