Attention-driven Next-best-view Planning for Efficient Reconstruction of Plants and Targeted Plant Parts

要約

トマト温室のロボットは、監視、収穫、葉落としの作業を自動化するために、植物と植物の部分を正確に認識する必要があります。
既存の認識システムは、植物の高レベルのオクルージョンに対応できず、認識精度が低下することがよくあります。
その理由の 1 つは、固定カメラまたは事前定義されたカメラの動きを使用しているためです。
次善ビュー (NBV) プランニングは、知覚精度が向上するようにカメラの視点を推論し、戦略的に計画する代替アプローチを示します。
ただし、既存の NBV 計画アルゴリズムは、当面のタスクに依存せず、プラントのすべての部分に同等の重要性を与えます。
この戦略は、葉を落とすための葉節の認識など、植物の特定の部分を的を絞って認識する必要がある温室作業では非効率的です。
複雑な温室環境における対象を絞った認識を向上させるために、NBV 計画アルゴリズムには、タスクに関連する植物の部分に焦点を当てるための注意メカニズムが必要です。
この論文では、注意主導型 NBV 計画戦略を使用して、対象となる知覚を改善する際の注意の役割を調査しました。
高度な閉塞と構造の複雑性を備えた植物を使用したシミュレーション実験を通じて、タスクに関連する植物の部分に注意を集中させることで 3D 再構成の速度と精度が大幅に向上する可能性があることを示しました。
さらに、実世界の実験により、これらの利点が自然の変動と遮蔽、自然照明、センサーのノイズ、カメラのポーズの不確実性を伴う複雑な温室条件にも及ぶことを示しました。
私たちの結果は、温室で注意を重視したNBV計画を使用すると、知覚の効率を大幅に向上させ、温室作物生産におけるロボットシステムのパフォーマンスを向上できることを明確に示しています。

要約(オリジナル)

Robots in tomato greenhouses need to perceive the plant and plant parts accurately to automate monitoring, harvesting, and de-leafing tasks. Existing perception systems struggle with the high levels of occlusion in plants and often result in poor perception accuracy. One reason for this is because they use fixed cameras or predefined camera movements. Next-best-view (NBV) planning presents a alternate approach, in which the camera viewpoints are reasoned and strategically planned such that the perception accuracy is improved. However, existing NBV-planning algorithms are agnostic to the task-at-hand and give equal importance to all the plant parts. This strategy is inefficient for greenhouse tasks that require targeted perception of specific plant parts, such as the perception of leaf nodes for de-leafing. To improve targeted perception in complex greenhouse environments, NBV planning algorithms need an attention mechanism to focus on the task-relevant plant parts. In this paper, we investigated the role of attention in improving targeted perception using an attention-driven NBV planning strategy. Through simulation experiments using plants with high levels of occlusion and structural complexity, we showed that focusing attention on task-relevant plant parts can significantly improve the speed and accuracy of 3D reconstruction. Further, with real-world experiments, we showed that these benefits extend to complex greenhouse conditions with natural variation and occlusion, natural illumination, sensor noise, and uncertainty in camera poses. Our results clearly indicate that using attention-driven NBV planning in greenhouses can significantly improve the efficiency of perception and enhance the performance of robotic systems in greenhouse crop production.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google