Fusing Multi-sensor Input with State Information on TinyML Brains for Autonomous Nano-drones

要約

自律型ナノドローン（直径～10cm）は、超低消費電力のTinyMLベースの頭脳のおかげで、実世界の環境に対応できる。しかし、センサーや計算ユニットが簡素化されているため、大型ドローンのようなセンス＆アクション能力にはまだ程遠い。本論文では、人間の姿勢推定タスクに取り組むために、マルチセンサ入力（すなわち、低解像度画像と8×8深度マップ）とロボットの状態情報を融合する、新しいディープラーニングベースのパイプラインを紹介する。我々の設計のおかげで、提案システム（シミュレーションで訓練され、実世界のデータセットでテストされた）は、距離の予測に関するR^2回帰メトリックを0.10まで増加させることにより、状態を認識しないState-of-the-Artベースラインを改善する。

要約(オリジナル)

Autonomous nano-drones (~10 cm in diameter), thanks to their ultra-low power TinyML-based brains, are capable of coping with real-world environments. However, due to their simplified sensors and compute units, they are still far from the sense-and-act capabilities shown in their bigger counterparts. This system paper presents a novel deep learning-based pipeline that fuses multi-sensorial input (i.e., low-resolution images and 8×8 depth map) with the robot’s state information to tackle a human pose estimation task. Thanks to our design, the proposed system — trained in simulation and tested on a real-world dataset — improves a state-unaware State-of-the-Art baseline by increasing the R^2 regression metric up to 0.10 on the distance’s prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL