Toward Semantic Scene Understanding for Fine-Grained 3D Modeling of Plants

要約

農業ロボット工学は、世界的な人口増加と食糧不足と労働力不足の予想により、活発な研究分野となっています。
ロボットは、剪定、収穫、表現型解析、植物モデリングなどの作業を支援できる可能性があります。
しかし、安全な操作とナビゲーションを可能にする高解像度の 3D セマンティック マップを現場で作成することが難しいため、農業の自動化が妨げられています。
この論文では、この問題の解決策に向けて構築し、セマンティクスと環境事前分布の使用がソルガムの対象用途向けの正確な 3D マップの構築にどのように役立つかを紹介します。
具体的には、1) ソルガム種子をセマンティックランドマークとして使用して、視覚的な同時位置特定およびマッピング (SLAM) システムを構築します。これにより、ソルガム範囲の平均 78\\% をマッピングできるようになります (ORB-SLAM2 では 38%)。
2) シードを意味論的特徴として使用して、ロボットのインハンドカメラで撮影した画像から完全なソルガム穂の 3D 再構成を改善します。

要約(オリジナル)

Agricultural robotics is an active research area due to global population growth and expectations of food and labor shortages. Robots can potentially help with tasks such as pruning, harvesting, phenotyping, and plant modeling. However, agricultural automation is hampered by the difficulty in creating high resolution 3D semantic maps in the field that would allow for safe manipulation and navigation. In this paper, we build toward solutions for this issue and showcase how the use of semantics and environmental priors can help in constructing accurate 3D maps for the target application of sorghum. Specifically, we 1) use sorghum seeds as semantic landmarks to build a visual Simultaneous Localization and Mapping (SLAM) system that enables us to map 78\\% of a sorghum range on average, compared to 38% with ORB-SLAM2; and 2) use seeds as semantic features to improve 3D reconstruction of a full sorghum panicle from images taken by a robotic in-hand camera.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google