Horticultural Temporal Fruit Monitoring via 3D Instance Segmentation and Re-Identification using Point Clouds

要約

ロボットによる果物の監視は、自動化された農業生産システムに向けた重要なステップです。
ロボットは、従来の手動手法の限界を克服する正確でハイスループットな評価を提供することで、植物と果実の一時的な監視を大幅に強化できます。
果物のサイズ、形状、向き、閉塞は大きく異なるため、果物の監視は困難な作業です。
また、記録セッションの間に果物が収穫されたり、新たに栽培されたりする場合もあります。
ほとんどの方法は 2D 画像ベースであり、果物モニタリングの重要な側面を表す 3D 構造、深さ、空間情報が欠如しています。
代わりに、3D カラー点群がこの情報を提供できますが、まばらさや不規則性などの課題が生じます。
この論文では、温室内で時間の経過とともに収集された点群に対処する、果物の一時的なモニタリングのための新しいアプローチを紹介します。
私たちの方法では、点群上で学習ベースのインスタンス セグメンテーション アプローチを直接使用してフルーツをセグメント化します。
セグメント化された各フルーツは、3D スパース畳み込みニューラル ネットワークによって処理されて記述子が抽出されます。記述子は、注意ベースのマッチング ネットワークでフルーツと以前のデータ コレクションのインスタンスを関連付けるために使用されます。
イチゴの実際のデータセットに関する実験結果は、私たちのアプローチが時間の経過とともに果物を再識別する他の方法よりも優れており、実際の複雑なシナリオで正確な時間的な果物の監視を可能にすることを示しています。

要約(オリジナル)

Robotic fruit monitoring is a key step toward automated agricultural production systems. Robots can significantly enhance plant and temporal fruit monitoring by providing precise, high-throughput assessments that overcome the limitations of traditional manual methods. Fruit monitoring is a challenging task due to the significant variation in size, shape, orientation, and occlusion of fruits. Also, fruits may be harvested or newly grown between recording sessions. Most methods are 2D image-based and they lack the 3D structure, depth, and spatial information, which represent key aspects of fruit monitoring. 3D colored point clouds, instead, can offer this information but they introduce challenges such as their sparsity and irregularity. In this paper, we present a novel approach for temporal fruit monitoring that addresses point clouds collected in a greenhouse over time. Our method segments fruits using a learning-based instance segmentation approach directly on the point cloud. Each segmented fruit is processed by a 3D sparse convolutional neural network to extract descriptors, which are used in an attention-based matching network to associate fruits with their instances from previous data collections. Experimental results on a real dataset of strawberries demonstrate that our approach outperforms other methods for fruits re-identification over time, allowing for precise temporal fruit monitoring in real and complex scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google