A Dataset and Benchmark for Shape Completion of Fruits for Agricultural Robotics

要約

世界人口は2050年までに100億に達すると予想されているため、農業部門の人間の労働力の低下にもかかわらず、当社の農業生産システムは生産性を2倍にする必要があります。
自律的なロボットシステムは、フルーツピッキングなどの労働集約的なマニュアルタスクを引き継ぐことにより、生産性を向上させる有望な経路です。
効果的であるためには、そのようなシステムは植物や果物を正確に監視し、相互作用する必要があります。これは、たとえば強い閉塞を引き起こす農業環境の散らかった性質のために挑戦的です。
したがって、閉塞の存在下でオブジェクトの完全な3D形状を推定できることは、果物の収穫などの操作を自動化するために重要です。
この論文では、農業ビジョンシステム向けに最初に公開されている3D形状完了データセットを提案します。
3D形状の果物を推定するためのRGB-Dデータセットを提供します。
具体的には、当社のデータセットには、研究室の条件だけでなく、商業用温室にもRGB-Dフレームが含まれています。
果物ごとに、私たちはさらに、地上の真理として使用する高精度ポイント雲をさらに収集しました。
グラウンドトゥルースの形を取得するために、ラボと温室の両方で高精度で本物のスイートコショウ植物のデータを記録し、感知された果物の形状を決定できる測定プロセスを開発しました。
100を超える異なる果物に属する約7,000のRGB-Dフレームで構成されるデータセットをリリースします。
セグメント化されたRGB-Dフレームを提供します。カメラからの興味深い点雲を簡単に取得し、高精度の高精度レーザースキャナーで取得した対応する高精度のオクルージョンのない点雲とともに簡単に取得します。
さらに、ベンチマークサーバー上の公開課題を介した非表示のテストで形状完了アプローチの評価を有効にします。

要約(オリジナル)

As the world population is expected to reach 10 billion by 2050, our agricultural production system needs to double its productivity despite a decline of human workforce in the agricultural sector. Autonomous robotic systems are one promising pathway to increase productivity by taking over labor-intensive manual tasks like fruit picking. To be effective, such systems need to monitor and interact with plants and fruits precisely, which is challenging due to the cluttered nature of agricultural environments causing, for example, strong occlusions. Thus, being able to estimate the complete 3D shapes of objects in presence of occlusions is crucial for automating operations such as fruit harvesting. In this paper, we propose the first publicly available 3D shape completion dataset for agricultural vision systems. We provide an RGB-D dataset for estimating the 3D shape of fruits. Specifically, our dataset contains RGB-D frames of single sweet peppers in lab conditions but also in a commercial greenhouse. For each fruit, we additionally collected high-precision point clouds that we use as ground truth. For acquiring the ground truth shape, we developed a measuring process that allows us to record data of real sweet pepper plants, both in the lab and in the greenhouse with high precision, and determine the shape of the sensed fruits. We release our dataset, consisting of almost 7,000 RGB-D frames belonging to more than 100 different fruits. We provide segmented RGB-D frames, with camera intrinsics to easily obtain colored point clouds, together with the corresponding high-precision, occlusion-free point clouds obtained with a high-precision laser scanner. We additionally enable evaluation of shape completion approaches on a hidden test set through a public challenge on a benchmark server.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google