AdaCropFollow: Self-Supervised Online Adaptation for Visual Under-Canopy Navigation

要約

樹冠下の農業用ロボットは、生育期を通じて正確な監視、散布、除草、植物操作作業などのさまざまな用途を可能にします。
RTK-GPS の精度の低下と、時間の経過とともにシーンの外観が大きく変動するため、天蓋の下での自律ナビゲーションは困難です。
これまでの研究では、意味論的なキーポイント表現を備えた教師あり学習ベースの知覚システムを開発し、これをさまざまな現場条件に展開しました。
このシステムの多くの失敗は、展開中に発生するドメインの変化に認識モデルが適応できないことに起因している可能性があります。
この論文では、視覚的基礎モデル、幾何学的事前分布、および擬似ラベリングを使用して意味論的キーポイント表現を適応させるための自己教師ありオンライン適応方法を提案します。
私たちの予備実験では、最小限のデータとパラメーターの微調整により、ソースドメインのラベルでトレーニングされたキーポイント予測モデルが、私たちの方法を使用してロボットコンピューターに搭載されたさまざまな困難なターゲットドメインに自己教師付きの方法で適応できることが示されました。
これにより、人間の介入を必要とせずに、畑や作物全体にわたる樹冠下ロボットの完全自律的な列追従機能が可能になります。

要約(オリジナル)

Under-canopy agricultural robots can enable various applications like precise monitoring, spraying, weeding, and plant manipulation tasks throughout the growing season. Autonomous navigation under the canopy is challenging due to the degradation in accuracy of RTK-GPS and the large variability in the visual appearance of the scene over time. In prior work, we developed a supervised learning-based perception system with semantic keypoint representation and deployed this in various field conditions. A large number of failures of this system can be attributed to the inability of the perception model to adapt to the domain shift encountered during deployment. In this paper, we propose a self-supervised online adaptation method for adapting the semantic keypoint representation using a visual foundational model, geometric prior, and pseudo labeling. Our preliminary experiments show that with minimal data and fine-tuning of parameters, the keypoint prediction model trained with labels on the source domain can be adapted in a self-supervised manner to various challenging target domains onboard the robot computer using our method. This can enable fully autonomous row-following capability in under-canopy robots across fields and crops without requiring human intervention.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google