On-Device Self-Supervised Learning of Low-Latency Monocular Depth from Only Events

要約

イベントカメラは、ミリワットの電力のみに対して低遅延の知覚を提供します。
これにより、小さな空飛ぶドローンなどのリソース制限のあるアジャイルロボットに非常に適しています。
コントラストの最大化に基づいた自己教師の学習は、イベントベースのロボットビジョンにとって大きな可能性を秘めています。これは、高周波の地上真理の必要性を認め、ロボットの運用環境でのオンライン学習を可能にするためです。
ただし、オンラインでオンボード学習は、競争力のある視覚認識パフォーマンスを維持しながら、リアルタイム学習のために十分な計算効率を達成するという主要な課題を提起します。
この作業では、コントラストの最大化パイプラインの時間とメモリ効率を改善し、低遅延の単眼深度のデバイス学習を可能にします。
小さなドローンのオンライン学習は、トレーニング前のみと比較して、より正確な深さの推定値とより成功した障害物回避行動をもたらすことを実証します。
ベンチマークの実験は、提案されたパイプラインが効率的であるだけでなく、自己科学的アプローチの間で最先端の深度推定パフォーマンスを達成することを示しています。
私たちの仕事は、オンラインでデバイス上のロボット学習の未使用の可能性を利用して、より小さな現実のギャップとより良いパフォーマンスを約束します。

要約(オリジナル)

Event cameras provide low-latency perception for only milliwatts of power. This makes them highly suitable for resource-restricted, agile robots such as small flying drones. Self-supervised learning based on contrast maximization holds great potential for event-based robot vision, as it foregoes the need for high-frequency ground truth and allows for online learning in the robot’s operational environment. However, online, on-board learning raises the major challenge of achieving sufficient computational efficiency for real-time learning, while maintaining competitive visual perception performance. In this work, we improve the time and memory efficiency of the contrast maximization pipeline, making on-device learning of low-latency monocular depth possible. We demonstrate that online learning on board a small drone yields more accurate depth estimates and more successful obstacle avoidance behavior compared to only pre-training. Benchmarking experiments show that the proposed pipeline is not only efficient, but also achieves state-of-the-art depth estimation performance among self-supervised approaches. Our work taps into the unused potential of online, on-device robot learning, promising smaller reality gaps and better performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google