A Dataset and Benchmark for Shape Completion of Fruits for Agricultural Robotics

要約

人口は 2050 年までに 100 億人に達すると予想されており、農業部門の労働力が減少しているにもかかわらず、農業生産システムの生産性を 2 倍にする必要があります。
自律型ロボット システムは、果物の収穫などの労働集約的な手動作業を引き継ぎ、生産性を向上させる有望な手段の 1 つです。
このようなシステムが効果的であるためには、植物や果物を正確に監視し相互作用する必要がありますが、農業環境の雑然とした性質により、たとえば強いオクルージョンが発生するため、これは困難です。
したがって、オクルージョンが存在するオブジェクトの完全な 3D 形状を推定できることは、果物の収穫などの操作を自動化するために非常に重要です。
この論文では、農業用ビジョン システム用の初の公的に利用可能な 3D 形状完成データセットを提案します。
果物の 3D 形状を推定するための RGB-D データセットを提供します。
具体的には、私たちのデータセットには、実験室条件だけでなく、商業用温室にもある単一のピーマンの RGB-D フレームが含まれています。
果物ごとに、グラウンド トゥルースとして使用する高精度の点群をさらに収集しました。
グラウンドトゥルースの形状を取得するために、実験室と温室の両方で実際のピーマン植物のデータを高精度で記録し、感知された果実の形状を決定できる測定プロセスを開発しました。
私たちは、100 種類以上の異なる果物に属する約 7000 個の RGB-D フレームで構成されるデータセットをリリースします。
当社は、カラー点群を簡単に取得するためのカメラ組み込み機能を備えたセグメント化された RGB-D フレームと、高精度レーザー スキャナで取得された対応する高精度でオクルージョンのない点群を提供します。
さらに、ベンチマーク サーバー上の公開チャレンジを通じて、非表示のテスト セットでの形状完成アプローチの評価を可能にします。

要約(オリジナル)

As the population is expected to reach 10 billion by 2050, our agricultural production system needs to double its productivity despite a decline of human workforce in the agricultural sector. Autonomous robotic systems are one promising pathway to increase productivity by taking over labor-intensive manual tasks like fruit picking. To be effective, such systems need to monitor and interact with plants and fruits precisely, which is challenging due to the cluttered nature of agricultural environments causing, for example, strong occlusions. Thus, being able to estimate the complete 3D shapes of objects in presence of occlusions is crucial for automating operations such as fruit harvesting. In this paper, we propose the first publicly available 3D shape completion dataset for agricultural vision systems. We provide an RGB-D dataset for estimating the 3D shape of fruits. Specifically, our dataset contains RGB-D frames of single sweet peppers in lab conditions but also in a commercial greenhouse. For each fruit, we additionally collected high-precision point clouds that we use as ground truth. For acquiring the ground truth shape, we developed a measuring process that allows us to record data of real sweet pepper plants, both in the lab and in the greenhouse with high precision, and determine the shape of the sensed fruits. We release our dataset, consisting of almost 7000 RGB-D frames belonging to more than 100 different fruits. We provide segmented RGB-D frames, with camera instrinsics to easily obtain colored point clouds, together with the corresponding high-precision, occlusion-free point clouds obtained with a high-precision laser scanner. We additionally enable evaluation ofshape completion approaches on a hidden test set through a public challenge on a benchmark server.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google