Semantics-Aware Next-best-view Planning for Efficient Search and Detection of Task-relevant Plant Parts

要約

植物のタスクに関連する部分を検索および検出することは、ロボットを使用してトマトの収穫と葉落としを自動化するために重要です。
トマト植物では高レベルの閉塞が発生するため、これは困難です。
アクティブ ビジョンは、ロボットがカメラの視点を戦略的に計画してオクルージョンを克服し、認識精度を向上させる有望なアプローチです。
しかし、現在のアクティブビジョンアルゴリズムは、関連する植物部分と無関係な植物部分を区別できず、無関係な植物部分を認識するのに時間を費やします。
この研究では、セマンティック情報を使用して関連するプラント部品を識別し、ビュー計画中にそれらに優先順位を付ける、セマンティクスを意識したアクティブビジョン戦略を提案しました。
提案された戦略は、シミュレーションと実際の実験を使用して、関連する植物の部分を検索および検出するタスクで評価されました。
シミュレーション実験では、提案されたセマンティクスを意識した戦略により、9 つの視点を使用して関連するプラント部品の 81.8% を検索および検出できました。
これは、意味情報を使用しない事前定義されたランダムなボリューム測定のアクティブ ビジョン戦略よりも大幅に高速で、より多くの植物部分を検出しました。
提案された戦略は、植物および植物部分の位置、植物の複雑さ、およびさまざまな視点サンプリング戦略の不確実性に対しても堅牢でした。
実際の実験では、セマンティクスを意識した戦略により、自然変動と遮蔽、自然照明、センサー ノイズ、およびカメラ ポーズの不確実性を伴う複雑な温室条件下で、7 つの視点を使用して関連する植物部分の 82.7% を検索および検出できました。
この研究の結果は、植物の部分を対象に認識するためにセマンティクスを意識したアクティブビジョンを使用する利点と、現実世界へのその適用可能性を明確に示しています。
トマト作物生産における自動収穫と葉落としの効率を大幅に向上させることができます。

要約(オリジナル)

Searching and detecting the task-relevant parts of plants is important to automate harvesting and de-leafing of tomato plants using robots. This is challenging due to high levels of occlusion in tomato plants. Active vision is a promising approach in which the robot strategically plans its camera viewpoints to overcome occlusion and improve perception accuracy. However, current active-vision algorithms cannot differentiate between relevant and irrelevant plant parts and spend time on perceiving irrelevant plant parts. This work proposed a semantics-aware active-vision strategy that uses semantic information to identify the relevant plant parts and prioritise them during view planning. The proposed strategy was evaluated on the task of searching and detecting the relevant plant parts using simulation and real-world experiments. In simulation experiments, the semantics-aware strategy proposed could search and detect 81.8% of the relevant plant parts using nine viewpoints. It was significantly faster and detected more plant parts than predefined, random, and volumetric active-vision strategies that do not use semantic information. The strategy proposed was also robust to uncertainty in plant and plant-part positions, plant complexity, and different viewpoint-sampling strategies. In real-world experiments, the semantics-aware strategy could search and detect 82.7% of the relevant plant parts using seven viewpoints, under complex greenhouse conditions with natural variation and occlusion, natural illumination, sensor noise, and uncertainty in camera poses. The results of this work clearly indicate the advantage of using semantics-aware active vision for targeted perception of plant parts and its applicability in the real world. It can significantly improve the efficiency of automated harvesting and de-leafing in tomato crop production.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google