Single-Shot 6DoF Pose and 3D Size Estimation for Robotic Strawberry Harvesting

要約

本研究では、ロボットによる収穫効率を大幅に向上させることを目的として、イチゴの6DoFポーズと3Dサイズの両方を決定するためのディープラーニングアプローチを紹介する。我々のモデルは、Ignition Gazeboシミュレータ内で自動的に生成される合成イチゴデータセットで訓練され、イチゴが示す固有の対称性に特に焦点を当てた。ドメインランダム化技術を活用することで、このモデルは、シミュレートされたデータセットにおいて、3D Intersection over Union (IoU)スコアの平均精度(AP)84.77%を達成し、卓越した性能を示した。実世界のデータセットで本モデルをテストした経験的評価により、合成データに基づいて学習されたにもかかわらず、本モデルが実世界のイチゴ収穫シナリオに適用可能であることが実証された。また、このモデルは頑健なオクルージョン処理能力を示し、イチゴが他のイチゴや葉に隠れても正確な検出能力を維持した。さらに、このモデルは、最大60フレーム/秒(FPS)に達する驚異的な高速推論を示しました。

要約(オリジナル)

In this study, we introduce a deep-learning approach for determining both the 6DoF pose and 3D size of strawberries, aiming to significantly augment robotic harvesting efficiency. Our model was trained on a synthetic strawberry dataset, which is automatically generated within the Ignition Gazebo simulator, with a specific focus on the inherent symmetry exhibited by strawberries. By leveraging domain randomization techniques, the model demonstrated exceptional performance, achieving an 84.77\% average precision (AP) of 3D Intersection over Union (IoU) scores on the simulated dataset. Empirical evaluations, conducted by testing our model on real-world datasets, underscored the model’s viability for real-world strawberry harvesting scenarios, even though its training was based on synthetic data. The model also exhibited robust occlusion handling abilities, maintaining accurate detection capabilities even when strawberries were obscured by other strawberries or foliage. Additionally, the model showcased remarkably swift inference speeds, reaching up to 60 frames per second (FPS).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL