Training on the Fly: On-device Self-supervised Learning aboard Nano-drones within 20 mW

要約

ナノドローンなどの小型機械学習 (TinyML) を活用した小型サイバーフィジカル システム (CPS) は、ますます魅力的なテクノロジーになりつつあります。
小型のフォームファクター (直径約 10cm) により、狭い災害シナリオの探索から人間とロボットの安全な相互作用に至るまで、幅広い適用性が保証されます。
シンプルなエレクトロニクスにより、これらの CPS は安価になりますが、ボード上で利用可能な計算、メモリ、センシング リソースが大幅に制限されます。
実際のアプリケーションでは、これらの制限はドメイン シフトによってさらに悪化します。
この基本的な機械学習の問題は、トレーニング ドメインから別のデプロイメント ドメインに移動すると、モデルの認識パフォーマンスが低下することを意味します。
この一般的な問題に対処し、軽減するために、ナノドローンに搭載されている限られた超低電力リソースのみに依存する、新しいオンデバイス微調整アプローチを提案します。
次に、CPS に搭載されたグラウンドトゥルース トレーニング ラベルの欠如を克服するために、エゴモーションの一貫性に基づいた自己教師ありの方法も採用しています。
私たちの仕事は、特定の実世界のビジョンベースの人間の姿勢推定タスクに基づいて構築されていますが、多くの組み込み TinyML ユースケースに広く適用できます。
当社の 512 画像のオンデバイス トレーニング手順は、超低電力 GWT GAP9 システムオンチップに完全に導入されており、必要なメモリはわずか 1MB で、消費電力はわずか 19mW、または実行時間はわずか 510ms (38mW 時) です。
最後に、閉ループ CPS をフィールド テストすることで、オンデバイス学習アプローチの利点を実証し、微調整されていない最先端のものと比較して、水平位置誤差が最大 26% 減少することを示しました。
ベースライン。
これまでに見たことのない最も困難な環境では、デバイス上の学習手順がミッションの成功と失敗の違いを生み出します。

要約(オリジナル)

Miniaturized cyber-physical systems (CPSes) powered by tiny machine learning (TinyML), such as nano-drones, are becoming an increasingly attractive technology. Their small form factor (i.e., ~10cm diameter) ensures vast applicability, ranging from the exploration of narrow disaster scenarios to safe human-robot interaction. Simple electronics make these CPSes inexpensive, but strongly limit the computational, memory, and sensing resources available on board. In real-world applications, these limitations are further exacerbated by domain shift. This fundamental machine learning problem implies that model perception performance drops when moving from the training domain to a different deployment one. To cope with and mitigate this general problem, we present a novel on-device fine-tuning approach that relies only on the limited ultra-low power resources available aboard nano-drones. Then, to overcome the lack of ground-truth training labels aboard our CPS, we also employ a self-supervised method based on ego-motion consistency. Albeit our work builds on top of a specific real-world vision-based human pose estimation task, it is widely applicable for many embedded TinyML use cases. Our 512-image on-device training procedure is fully deployed aboard an ultra-low power GWT GAP9 System-on-Chip and requires only 1MB of memory while consuming as low as 19mW or running in just 510ms (at 38mW). Finally, we demonstrate the benefits of our on-device learning approach by field-testing our closed-loop CPS, showing a reduction in horizontal position error of up to 26% vs. a non-fine-tuned state-of-the-art baseline. In the most challenging never-seen-before environment, our on-device learning procedure makes the difference between succeeding or failing the mission.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google