3D Pose Estimation of Tomato Peduncle Nodes using Deep Keypoint Detection and Point Cloud

要約

先進国における果物や野菜の温室生産は、労働力不足と高い人件費によって課題となっている。
ロボットは、持続可能でコスト効率の高い生産のための優れたソリューションを提供します。
ロボットの動作を成功させるには、プラントの関連部品に関する正確な空間情報を取得することが不可欠です。
温室内でのロボットの認識は、15 の植物の外観、視点、照明が異なるため、困難です。
この論文では、RGB-D カメラからのデータを使用して花柄ノードの 3D 姿勢を推定するキーポイント検出ベースの方法 16 を提案します。この方法は、トマトの房を収穫するために不可欠な情報を提供します。
具体的には、この論文では、カラー画像内の 4 つの解剖学的ランドマークを検出し、3D 点群情報を統合して 3D 姿勢を決定する方法を提案します。
方法のさまざまな部分のパフォーマンスについての洞察を得るために、商業用温室で包括的な評価が実施されました。
結果は次のことを示しました。(1) 物体 23 の検出精度が高く、AP@0.5=0.96 の平均精度 (AP) を達成。
（２）ＰｈＤＪ＠０．２のキーポイントの２４個の検出された関節（ＰＤＪ）の平均パーセンテージ＝９４．３１％。
（３）３Ｄ姿勢推定精度は、花柄と主茎との間の相対的な上部角度および下部角度についてそれぞれ１１．３８°および９．９３°の平均絶対誤差（ＭＡＥ）を有する。
さらに、視点の 27 の変化を処理する能力が調査され、この方法が視点の変化に対して堅牢であることが実証されました。
28 ただし、正規ビューとそれ以上のビューでは、他のビューと比較してパフォーマンスがわずかに向上しました。
ユースケースとしてトマトが選択されましたが、提案された方法はコショウなど他の 30 種類の温室作物にも適用できます。

要約(オリジナル)

Greenhouse production of fruits and vegetables in developed countries is challenged by labor 12 scarcity and high labor costs. Robots offer a good solution for sustainable and cost-effective 13 production. Acquiring accurate spatial information about relevant plant parts is vital for 14 successful robot operation. Robot perception in greenhouses is challenging due to variations in 15 plant appearance, viewpoints, and illumination. This paper proposes a keypoint-detection-based 16 method using data from an RGB-D camera to estimate the 3D pose of peduncle nodes, which 17 provides essential information to harvest the tomato bunches. 18 19 Specifically, this paper proposes a method that detects four anatomical landmarks in the color 20 image and then integrates 3D point-cloud information to determine the 3D pose. A 21 comprehensive evaluation was conducted in a commercial greenhouse to gain insight into the 22 performance of different parts of the method. The results showed: (1) high accuracy in object 23 detection, achieving an Average Precision (AP) of AP@0.5=0.96; (2) an average Percentage of 24 Detected Joints (PDJ) of the keypoints of PhDJ@0.2=94.31%; and (3) 3D pose estimation 25 accuracy with mean absolute errors (MAE) of 11.38o and 9.93o for the relative upper and lower 26 angles between the peduncle and main stem, respectively. Furthermore, the capability to handle 27 variations in viewpoint was investigated, demonstrating the method was robust to view changes. 28 However, canonical and higher views resulted in slightly higher performance compared to other 29 views. Although tomato was selected as a use case, the proposed method is also applicable to 30 other greenhouse crops like pepper.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google