A Map-free Deep Learning-based Framework for Gate-to-Gate Monocular Visual Navigation aboard Miniaturized Aerial Vehicles

要約

手のひらサイズの自律的なナノドロン、つまり重量のサブ50gは最近、ドローンレースシナリオに入りました。そこでは、障害物を避け、ゲートをできるだけ早くナビゲートするように任されています。
ただし、より大きなカウンターパート、つまりKGスケールドローンとは対照的に、Nano-Dronesは3桁のオンボードメモリとコンピューティングパワーを公開し、より効率的で軽量のビジョンベースのパイプラインを要求してレースに勝ちます。
この作品は、リアルタイムのディープラーニングゲート検出フロントエンドとクラシックでありながらエレガントで効果的な視覚サーボのバックエンドを組み合わせた、マップフリーのビジョンベース（単眼カメラのみを使用）自律ナノドローンを提供します。
2つの最先端の小さなディープラーニングモデルから始めて、特定のタスクに適応し、混合シミュレーターリアルワールドトレーニングの後、ナノドローンに統合および展開します。
最良のパイプラインコストは、フレームごとに24mの乗算操作のわずか24mのパイプラインコストであり、30 Hzの閉ループ制御性能をもたらし、〜20kの実際の画像データセットでゲート検出ルートルート平方誤差1.4ピクセルを達成します。
フィールド内実験は、ナノドローンの能力を強調しており、4分で15個のゲートを正常にナビゲートします。これは、100mの総移動距離をクラッシュせず、1.9 m/sのピーク飛行速度をカバーします。
最後に、システムの一般化能力を強調するために、これまでにない環境でそれをテストし、そこで4分以上ゲートをナビゲートします。

要約(オリジナル)

Palm-sized autonomous nano-drones, i.e., sub-50g in weight, recently entered the drone racing scenario, where they are tasked to avoid obstacles and navigate as fast as possible through gates. However, in contrast with their bigger counterparts, i.e., kg-scale drones, nano-drones expose three orders of magnitude less onboard memory and compute power, demanding more efficient and lightweight vision-based pipelines to win the race. This work presents a map-free vision-based (using only a monocular camera) autonomous nano-drone that combines a real-time deep learning gate detection front-end with a classic yet elegant and effective visual servoing control back-end, only relying on onboard resources. Starting from two state-of-the-art tiny deep learning models, we adapt them for our specific task, and after a mixed simulator-real-world training, we integrate and deploy them aboard our nano-drone. Our best-performing pipeline costs of only 24M multiply-accumulate operations per frame, resulting in a closed-loop control performance of 30 Hz, while achieving a gate detection root mean square error of 1.4 pixels, on our ~20k real-world image dataset. In-field experiments highlight the capability of our nano-drone to successfully navigate through 15 gates in 4 min, never crashing and covering a total travel distance of ~100m, with a peak flight speed of 1.9 m/s. Finally, to stress the generalization capability of our system, we also test it in a never-seen-before environment, where it navigates through gates for more than 4 min.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google