Semantics-Aware Next-best-view Planning for Efficient Search and Detection of Task-relevant Plant Parts

要約

ロボットを使用してトマトの収穫と葉落としを自動化するには、タスクに関連する植物の部分を検索して検出することが重要です。
トマト植物では高レベルの閉塞が発生するため、これは困難です。
アクティブ ビジョンは視点計画への有望なアプローチであり、ロボットがカメラの視点を意図的に計画してオクルージョンを克服し、認識精度を向上させるのに役立ちます。
しかし、現在のアクティブビジョンアルゴリズムは、関連する植物部分と無関係な植物部分を区別できず、無関係な植物部分の認識に時間がかかるため、対象を絞った認識には非効率的です。
私たちは、セマンティック情報を使用して関連するプラント部品を特定し、ビュー計画中にそれらに優先順位を付ける、セマンティクスを意識したアクティブビジョン戦略を提案します。
私たちは、シミュレーションと実際の実験を使用して、関連する植物の部分を検索および検出するタスクに関する戦略を評価しました。
シミュレーションでは、さまざまな構造の複雑さを持つトマト植物の 3D モデルを使用し、セマンティクスを意識した戦略により、9 つの視点を使用して関連するすべての植物部分の 81.8% を検索して検出できました。
これは、事前定義されたランダムなボリューム測定のアクティブビジョン戦略よりも大幅に高速で、より多くの植物部分を検出しました。
私たちの戦略は、植物と植物部分の位置、植物の複雑さ、さまざまな視点のサンプリング戦略の不確実性に対しても堅牢でした。
さらに、実世界の実験では、私たちの戦略は、自然の変動と遮蔽、自然照明、センサーのノイズ、およびカメラのポーズの不確実性を伴う実世界の条件下で、7 つの視点を使用して関連するすべての植物部分の 82.7% を検索および検出できました。
私たちの結果は、プラント部品の対象を絞った認識のためにセマンティクスを意識したアクティブビジョンを使用する利点と、現実世界のセットアップでのその適用可能性を明確に示しています。
私たちは、トマト作物生産における自動収穫と葉落としの速度と堅牢性を大幅に向上できると信じています。

要約(オリジナル)

To automate harvesting and de-leafing of tomato plants using robots, it is important to search and detect the task-relevant plant parts. This is challenging due to high levels of occlusion in tomato plants. Active vision is a promising approach to viewpoint planning, which helps robots to deliberately plan camera viewpoints to overcome occlusion and improve perception accuracy. However, current active-vision algorithms cannot differentiate between relevant and irrelevant plant parts and spend time on perceiving irrelevant plant parts, making them inefficient for targeted perception. We propose a semantics-aware active-vision strategy that uses semantic information to identify the relevant plant parts and prioritise them during view planning. We evaluated our strategy on the task of searching and detecting the relevant plant parts using simulation and real-world experiments. In simulation, using 3D models of tomato plants with varying structural complexity, our semantics-aware strategy could search and detect 81.8% of all the relevant plant parts using nine viewpoints. It was significantly faster and detected more plant parts than predefined, random, and volumetric active-vision strategies. Our strategy was also robust to uncertainty in plant and plant-part position, plant complexity, and different viewpoint-sampling strategies. Further, in real-world experiments, our strategy could search and detect 82.7% of all the relevant plant parts using seven viewpoints, under real-world conditions with natural variation and occlusion, natural illumination, sensor noise, and uncertainty in camera poses. Our results clearly indicate the advantage of using semantics-aware active vision for targeted perception of plant parts and its applicability in real-world setups. We believe that it can significantly improve the speed and robustness of automated harvesting and de-leafing in tomato crop production.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google