High-throughput Visual Nano-drone to Nano-drone Relative Localization using Onboard Fully Convolutional Networks

要約

ドローン間の相対的な位置特定は、あらゆる群れ作戦の基本的な構成要素です。
我々は、小型化された直径10cmのナノドローンという文脈でこの課題に取り組みます。ナノドローンは、その縮小されたフォームファクタによって可能になる新しい使用例により、ますます関心が高まっています。
多用途性の代償として、オンボード リソース (センサー、処理ユニット、メモリなど) が限られているため、オンボード アルゴリズムの複雑さが制限されます。
これらの制限を克服する従来のソリューションは、ナノドローンに直接展開される軽量の深層学習モデルによって表されます。
この研究では、グレースケールの低解像度カメラとオンボードでホストされる超低電力システムオンチップ (SoC) のみを使用して、ナノドローン間の困難な相対姿勢推定に取り組みます。
我々は、GWT GAP8 SoC で拡張された Crazyflie ナノドローンに搭載され、39 Hz で 101 mW 以内で動作する、新しいビジョンベースの完全畳み込みニューラル ネットワーク (FCNN) に基づく垂直統合システムを紹介します。
FCNN を 3 つの最先端 (SoA) システムと比較します。
最もパフォーマンスの高い SoA アプローチを考慮すると、私たちのモデルは、30,000 個の画像からなる現実世界のデータセットで、水平画像座標で 32 から 47%、垂直画像座標で 18 から 55% の R 二乗改善をもたらします。
最後に、当社の現場テストでは、以前の SoA 作業と比較して平均トラッキング エラーが 37% 減少し、バッテリー寿命全体の 4 分間までの耐久性能が示されました。

要約(オリジナル)

Relative drone-to-drone localization is a fundamental building block for any swarm operations. We address this task in the context of miniaturized nano-drones, i.e., 10cm in diameter, which show an ever-growing interest due to novel use cases enabled by their reduced form factor. The price for their versatility comes with limited onboard resources, i.e., sensors, processing units, and memory, which limits the complexity of the onboard algorithms. A traditional solution to overcome these limitations is represented by lightweight deep learning models directly deployed aboard nano-drones. This work tackles the challenging relative pose estimation between nano-drones using only a gray-scale low-resolution camera and an ultra-low-power System-on-Chip (SoC) hosted onboard. We present a vertically integrated system based on a novel vision-based fully convolutional neural network (FCNN), which runs at 39Hz within 101mW onboard a Crazyflie nano-drone extended with the GWT GAP8 SoC. We compare our FCNN against three State-of-the-Art (SoA) systems. Considering the best-performing SoA approach, our model results in an R-squared improvement from 32 to 47% on the horizontal image coordinate and from 18 to 55% on the vertical image coordinate, on a real-world dataset of 30k images. Finally, our in-field tests show a reduction of the average tracking error of 37% compared to a previous SoA work and an endurance performance up to the entire battery lifetime of 4 minutes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google