3D Hierarchical Panoptic Segmentation in Real Orchard Environments Across Different Sensors

要約

作物の収穫量の推定は、正確な作物収量の推定値が農民の収穫または精度の介入に関する決定をサポートできるため、農業に関連する問題です。
ロボットは、このプロセスを自動化するのに役立ちます。
そのためには、ターゲットオブジェクトを特定するために周囲の環境を知覚できる必要があります。
この論文では、さまざまなセンサーの3DデータでのApple Orchardsの階層的なパノプティックセグメンテーションの問題に対処するための新しいアプローチを紹介します。
私たちのアプローチは、セマンティックセグメンテーション、トランクと果物のインスタンスセグメンテーション、および植物のインスタンスセグメンテーション（果物を含む単一のトランク）を同時に提供することができます。
これにより、個々の植物、果物、トランクなどの関連情報を特定し、果樹園の各木に関連する果物の数を正確に推定するなど、それらの関係を捉えることができます。
さらに、階層的なパノプティックセグメンテーションのアプローチを効率的に評価するために、このタスク用に特別に設計されたデータセットを提供します。
私たちのデータセットは、地上レーザースキャナーからさまざまなロボットプラットフォームに取り付けられたRGB-Dカメラまで、さまざまなセンサーを備えた本物のアップルオーチャードのBonnに記録されています。
実験は、私たちのアプローチが農業領域での3Dパノプティックセグメンテーションで最先端のアプローチを上回り、同時に完全な階層的なパノプティックセグメンテーションを提供することを示しています。
データセットはhttps://www.ipb.uni-bonn.de/data/hops/で公開されています。
私たちは、紙の受け入れ時に隠されたテストセットに関する階層的なパノプティックセグメンテーションのためのアプローチとパブリック競合のオープンソースの実装を提供します。

要約(オリジナル)

Crop yield estimation is a relevant problem in agriculture, because an accurate crop yield estimate can support farmers’ decisions on harvesting or precision intervention. Robots can help to automate this process. To do so, they need to be able to perceive the surrounding environment to identify target objects. In this paper, we introduce a novel approach to address the problem of hierarchical panoptic segmentation of apple orchards on 3D data from different sensors. Our approach is able to simultaneously provide semantic segmentation, instance segmentation of trunks and fruits, and instance segmentation of plants (a single trunk with its fruits). This allows us to identify relevant information such as individual plants, fruits, and trunks, and capture the relationship among them, such as precisely estimate the number of fruits associated to each tree in an orchard. Additionally, to efficiently evaluate our approach for hierarchical panoptic segmentation, we provide a dataset designed specifically for this task. Our dataset is recorded in Bonn in a real apple orchard with a variety of sensors, spanning from a terrestrial laser scanner to a RGB-D camera mounted on different robotic platforms. The experiments show that our approach surpasses state-of-the-art approaches in 3D panoptic segmentation in the agricultural domain, while also providing full hierarchical panoptic segmentation. Our dataset has been made publicly available at https://www.ipb.uni-bonn.de/data/hops/. We will provide the open-source implementation of our approach and public competiton for hierarchical panoptic segmentation on the hidden test sets upon paper acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google