Panoptic Mapping with Fruit Completion and Pose Estimation for Horticultural Robots

要約

植物や果物を高解像度で監視することは、農業の将来において重要な役割を果たします。
正確な 3D 情報は、自律的な収穫から正確な収量推定に至るまで、農業におけるさまざまなロボット応用への道を開くことができます。
農業環境は繰り返しが多く雑然としていることが多く、果物や植物の部分的な観察可能性を考慮する必要があるため、このような 3D 情報を取得することは簡単ではありません。
この論文では、移動ロボットによって構築された 3D 多重解像度マップで果物の完全な 3D 形状とその姿勢を共同推定する問題に取り組みます。
この目的を達成するために、関心領域がより高い解像度で表現されるオンライン多重解像度パノプティック マッピング システムを提案します。
データを利用して一般的な果物の形状表現を学習し、オクルージョンを意識した微分可能なレンダリング パイプラインとともに推論時に使用して、部分的な果物の観察を完了し、マップ内の各果物の 7 自由度の姿勢を推定します。
この論文で紹介した実験は、制御された環境と商業用温室の両方で評価され、当社の新しいアルゴリズムが既存の方法よりも高い完了精度と姿勢推定精度をもたらし、完了精度が 41%、姿勢推定精度が 52% 向上したことを示しています。
平均 0.6 秒という短い推論時間を維持しながら。
コードは https://github.com/PRBonn/HortiMapping で入手できます。

要約(オリジナル)

Monitoring plants and fruits at high resolution play a key role in the future of agriculture. Accurate 3D information can pave the way to a diverse number of robotic applications in agriculture ranging from autonomous harvesting to precise yield estimation. Obtaining such 3D information is non-trivial as agricultural environments are often repetitive and cluttered, and one has to account for the partial observability of fruit and plants. In this paper, we address the problem of jointly estimating complete 3D shapes of fruit and their pose in a 3D multi-resolution map built by a mobile robot. To this end, we propose an online multi-resolution panoptic mapping system where regions of interest are represented with a higher resolution. We exploit data to learn a general fruit shape representation that we use at inference time together with an occlusion-aware differentiable rendering pipeline to complete partial fruit observations and estimate the 7 DoF pose of each fruit in the map. The experiments presented in this paper evaluated both in the controlled environment and in a commercial greenhouse, show that our novel algorithm yields higher completion and pose estimation accuracy than existing methods, with an improvement of 41% in completion accuracy and 52% in pose estimation accuracy while keeping a low inference time of 0.6s in average. Codes are available at: https://github.com/PRBonn/HortiMapping.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google