Fully Onboard Low-Power Localization with Semantic Sensor Fusion on a Nano-UAV using Floor Plans

要約

ナノサイズの無人航空機 (UAV) は、屋内用途や人間のすぐ近くでの用途に適しています。
自律性を実現するには、nano-UAV が動作環境内で自己位置特定できる必要があります。
搭載されているセンシング リソースとコンピューティング リソースが限られているため、これは特に困難なタスクです。
この研究では、セマンティック情報で注釈が付けられたフロア プランでの位置特定のためのオンラインおよびオンボード アプローチを紹介します。
センサーベースのマップとは異なり、フロアプランはすぐに入手できるため、導入のコストや時間が増加することはありません。
まばらな地図での位置特定の困難を克服するために、提案されたアプローチでは、小型化された飛行時間型センサーからの幾何学的情報と意味論的手がかりを融合します。
意味論的な情報は、ドローンに搭載された高性能マルチコア マイクロコントローラーに最先端の物体検出モデルを展開することで画像から抽出され、フレームあたりの消費電力はわずか 2.5mJ、実行時間は 38ms です。
私たちの評価では、実際のオフィス環境でグローバルにローカライズし、90% の成功率を達成しました。
また、私たちの作業のオープンソース実装もリリースします。

要約(オリジナル)

Nano-sized unmanned aerial vehicles (UAVs) are well-fit for indoor applications and for close proximity to humans. To enable autonomy, the nano-UAV must be able to self-localize in its operating environment. This is a particularly-challenging task due to the limited sensing and compute resources on board. This work presents an online and onboard approach for localization in floor plans annotated with semantic information. Unlike sensor-based maps, floor plans are readily-available, and do not increase the cost and time of deployment. To overcome the difficulty of localizing in sparse maps, the proposed approach fuses geometric information from miniaturized time-of-flight sensors and semantic cues. The semantic information is extracted from images by deploying a state-of-the-art object detection model on a high-performance multi-core microcontroller onboard the drone, consuming only 2.5mJ per frame and executing in 38ms. In our evaluation, we globally localize in a real-world office environment, achieving 90% success rate. We also release an open-source implementation of our work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google