Fully Onboard Low-Power Localization with Semantic Sensor Fusion on a Nano-UAV using Floor Plans

要約

ナノサイズの無人航空機（UAV）は、屋内用途や人間に近接する用途に適している。自律性を実現するためには、ナノUAVはその動作環境において自己ローカライズできなければならない。これは、搭載されているセンシングと計算リソースが限られているため、特に困難な課題である。本研究では、意味的情報で注釈された平面図におけるローカライゼーションのためのオンラインかつオンボードアプローチを提示する。センサーベースの地図とは異なり、見取り図は容易に入手可能であり、配備のコストと時間を増加させない。疎な地図における定位の難しさを克服するために、提案アプローチは小型化された飛行時間センサーからの幾何学的情報と意味的手がかりを融合する。意味情報は、ドローンに搭載された高性能マルチコアマイクロコントローラー上に最先端の物体検出モデルを展開することにより画像から抽出され、1フレームあたりわずか2.5mJの消費で、38msで実行される。評価では、実際のオフィス環境でグローバルローカライズを行い、90%の成功率を達成した。また、オープンソースでの実装も公開しています。

要約(オリジナル)

Nano-sized unmanned aerial vehicles (UAVs) are well-fit for indoor applications and for close proximity to humans. To enable autonomy, the nano-UAV must be able to self-localize in its operating environment. This is a particularly-challenging task due to the limited sensing and compute resources on board. This work presents an online and onboard approach for localization in floor plans annotated with semantic information. Unlike sensor-based maps, floor plans are readily-available, and do not increase the cost and time of deployment. To overcome the difficulty of localizing in sparse maps, the proposed approach fuses geometric information from miniaturized time-of-flight sensors and semantic cues. The semantic information is extracted from images by deploying a state-of-the-art object detection model on a high-performance multi-core microcontroller onboard the drone, consuming only 2.5mJ per frame and executing in 38ms. In our evaluation, we globally localize in a real-world office environment, achieving 90% success rate. We also release an open-source implementation of our work.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL