Attention-driven Active Vision for Efficient Reconstruction of Plants and Targeted Plant Parts

要約

ロボットによるトマト植物の視覚的再構築は、温室環境における高レベルの変動と閉塞のために非常に困難です。
アクティブビジョンのパラダイムは、以前に取得した情報について推論し、プラントに関する新しい情報を収集するためにカメラの視点を体系的に計画することにより、これらの課題を克服するのに役立ちます。
ただし、既存のアクティブビジョンアルゴリズムは、再構築が必要な植物の部分と植物の残りの部分を区別しないため、葉のノードの3D再構築などの対象となる知覚目的ではうまく機能しません。
本論文では、手元のタスクに応じて関連するプラント部分のみを考慮する注意駆動型アクティブビジョンアルゴリズムを提案します。
提案されたアプローチは、さまざまなレベルの注意、すなわち植物全体、主茎および葉節でのトマト植物の3D再構築のタスクに関するシミュレーション環境で評価されました。
事前定義されたランダムなアプローチと比較して、私たちのアプローチは、3D再構成の精度を植物全体で9.7％と5.3％、主茎で14.2％と7.9％、葉の節でそれぞれ25.9％と17.3％向上させます。
最初の3つの視点。
また、事前定義されたランダムなアプローチと比較して、私たちのアプローチは、植物全体の80％と主茎を1つ少ない視点で再構築し、葉のノードの80％を3つ少ない視点で再構築します。
また、植物モデル、オクルージョンの量、候補となる視点の数、および再構築の解像度が変更されても、注意駆動型NBVプランナーが効果的に機能することを示しました。
アクティブビジョンにアテンションメカニズムを追加することで、プラント全体と対象プラント部分を効率的に再構築することができます。
複雑な農産食品環境における知覚の質を大幅に改善するには、アクティブビジョンの注意メカニズムが必要であると結論付けています。

要約(オリジナル)

Visual reconstruction of tomato plants by a robot is extremely challenging due to the high levels of variation and occlusion in greenhouse environments. The paradigm of active-vision helps overcome these challenges by reasoning about previously acquired information and systematically planning camera viewpoints to gather novel information about the plant. However, existing active-vision algorithms cannot perform well on targeted perception objectives, such as the 3D reconstruction of leaf nodes, because they do not distinguish between the plant-parts that need to be reconstructed and the rest of the plant. In this paper, we propose an attention-driven active-vision algorithm that considers only the relevant plant-parts according to the task-at-hand. The proposed approach was evaluated in a simulated environment on the task of 3D reconstruction of tomato plants at varying levels of attention, namely the whole plant, the main stem and the leaf nodes. Compared to pre-defined and random approaches, our approach improves the accuracy of 3D reconstruction by 9.7% and 5.3% for the whole plant, 14.2% and 7.9% for the main stem, and 25.9% and 17.3% for the leaf nodes respectively within the first 3 viewpoints. Also, compared to pre-defined and random approaches, our approach reconstructs 80% of the whole plant and the main stem in 1 less viewpoint and 80% of the leaf nodes in 3 less viewpoints. We also demonstrated that the attention-driven NBV planner works effectively despite changes to the plant models, the amount of occlusion, the number of candidate viewpoints and the resolutions of reconstruction. By adding an attention mechanism to active-vision, it is possible to efficiently reconstruct the whole plant and targeted plant parts. We conclude that an attention mechanism for active-vision is necessary to significantly improve the quality of perception in complex agro-food environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google