Viewpoint Planning based on Shape Completion for Fruit Mapping and Reconstruction

要約

農業におけるロボットシステムは、農業活動の自動化を促進するだけでなく、構造化されていない環境と作物の非剛性構造によるロボット工学の新たな課題を表しています。
特に、オクルージョンが頻繁に発生し、画像セグメンテーションが果物の実際の形状について限られた精度しか提供しないため、果物のマッピングと収穫のためのアクティブな認識は困難な作業です。
この論文では、収集されたデータからの形状予測を明示的に使用して、果物のまだ観察されていない部分を見るようにセンサーを導く視点計画アプローチを提示します。
ピーマンの果実に関する情報を最大限に得るために、予測と観察の間の継続的な相互作用のための新しいパイプラインを開発しました。
パラメトリック超楕円体フィッティングとモデルベースの非剛体潜在空間登録という2つの異なる形状予測アプローチを採用し、それらを関心領域（RoI）視点プランナーに統合しました。
さらに、視点の相違という新しい概念を使用して、プランナーが適切な視点を選択し、計画時間を短縮できるようにしました。
Realsense L515 センサーを搭載した UR5e アームを使用したシミュレーション実験では、視点計画に基づく反復的な形状補完の有効性を定量的に実証しています。
最先端のビューポイント プランナーを使用した比較実験では、果実のサイズの推定だけでなく、再構成の改善も示しています。
最後に、商業温室で実際のロボットシステムを使用してピーマンをマッピングするためのアプローチの実行可能性を示します。

要約(オリジナル)

Robotic systems in agriculture do not only enable increasing automation of farming activities but also represent new challenges for robotics due to the unstructured environment and the non-rigid structures of crops. Especially, active perception for fruit mapping and harvesting is a difficult task since occlusions frequently occur and image segmentation provides only limited accuracy on the actual shape of the fruits. In this paper, we present a viewpoint planning approach that explictly uses the shape prediction from collected data to guide the sensor to view as yet unobserved parts of the fruits. We developed a novel pipeline for continuous interaction between prediction and observation to maximize the information gain about sweet pepper fruits. We adapted two different shape prediction approaches, namely parametric superellipsoid fitting and model based non-rigid latent space registration, and integrated them into our Region of Interest (RoI) viewpoint planner. Additionally, we used a new concept of viewpoint dissimilarity to aid the planner to select good viewpoints and for shortening the planning times. Our simulation experiments with a UR5e arm equipped with a Realsense L515 sensor provide a quantitative demonstration of the efficacy of our iterative shape completion based viewpoint planning. In comparative experiments with a state-of-the-art viewpoint planner, we demonstrate improvement not only in the estimation of the fruit sizes, but also in their reconstruction. Finally, we show the viability of our approach for mapping sweet peppers with a real robotic system in a commercial glasshouse.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google