Panoptic Mapping with Fruit Completion and Pose Estimation for Horticultural Robots

要約

植物や果物を高解像度で監視することは、農業の将来において重要な役割を果たします。
正確な 3D 情報は、自動収穫から正確な収量推定まで、農業における多様なロボット アプリケーションへの道を開くことができます。
このような 3D 情報を取得することは、農業環境が反復的で雑然としていることが多く、果物や植物の部分的な可観測性を考慮しなければならないため、簡単ではありません。
この論文では、移動ロボットによって構築された 3D 多重解像度マップで、果物の完全な 3D 形状とそれらの姿勢を共同で推定する問題に対処します。
この目的のために、関心領域がより高い解像度で表されるオンライン多重解像度パノプティック マッピング システムを提案します。
データを活用して、オクルージョンを認識した微分可能なレンダリング パイプラインと共に推論時に使用する一般的な果物の形状表現を学習して、部分的な果物の観察を完了し、マップ内の各果物の 7 DoF ポーズを推定します。
制御された環境と商業用温室の両方で評価されたこの論文で提示された実験は、私たちの新しいアルゴリズムが既存の方法よりも高い完成度と姿勢推定精度をもたらし、完成度精度で41％、姿勢推定で52％改善することを示しています
平均 0.6 秒の短い推論時間を維持しながら精度を高めます。

要約(オリジナル)

Monitoring plants and fruits at high resolution play a key role in the future of agriculture. Accurate 3D information can pave the way to a diverse number of robotic applications in agriculture ranging from autonomous harvesting to precise yield estimation. Obtaining such 3D information is non-trivial as agricultural environments are often repetitive and cluttered, and one has to account for the partial observability of fruit and plants. In this paper, we address the problem of jointly estimating complete 3D shapes of fruit and their pose in a 3D multi-resolution map built by a mobile robot. To this end, we propose an online multi-resolution panoptic mapping system where regions of interest are represented with a higher resolution. We exploit data to learn a general fruit shape representation that we use at inference time together with an occlusion-aware differentiable rendering pipeline to complete partial fruit observations and estimate the 7 DoF pose of each fruit in the map. The experiments presented in this paper, evaluated both in the controlled environment and in a commercial greenhouse, show that our novel algorithm yields higher completion and pose estimation accuracy than existing methods, with an improvement of 41% in completion accuracy and 52% in pose estimation accuracy while keeping a low inference time of 0.6s in average.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google