Segmentation and Tracking of Vegetable Plants by Exploiting Vegetable Shape Feature for Precision Spray of Agricultural Robots

要約

農業ロボットの導入が進むにつれて、液体肥料や殺虫剤の従来の手動散布は徐々に農業ロボットに置き換えられつつあります。
野菜農場でロボットによる精密スプレーを適用する場合、インスタンスのセグメンテーションによる正確な植物の表現型解析と堅牢な植物追跡が非常に重要であり、次のスプレー操作の前提条件となります。
野菜植物のロバスト追跡に関して、連続画像内で類似した色と質感を持つ野菜を関連付けるという困難な問題を解決するために、この論文では、複数のオブジェクトのセグメント化と追跡のための複数オブジェクト追跡およびセグメンテーション（MOTS）の新しい方法を提案します。
野菜植物。
私たちのアプローチでは、輪郭とブロブの特徴を抽出して、個々の野菜の固有の特徴を記述し、異なる画像内の同じ野菜を関連付けます。
各野菜に一意の ID を割り当てることで、ロボットが農場の列に沿って移動しながら、各野菜に正確に 1 回スプレーすることが保証されます。
アブレーション研究を含む包括的な実験が実施され、2 つの最先端 (SOTA) MOTS メソッドよりも優れたパフォーマンスが証明されています。
従来のMOTS手法と比較して、提案された手法は、提案されたデータ関連付け戦略を使用して、カメラの視野から消えて再び現れたオブジェクトを再識別することができます。これは、各野菜に確実に1回だけ散布することが重要です
ロボットが前後に移動するとき。
この方法はレタス農場でテストされていますが、ブロッコリーやキャノーラなどの他の同様の野菜にも適用できます。
この論文のコードとデータセットは両方ともコミュニティの利益のために公開されています: https://github.com/NanH5837/LettuceMOTS。

要約(オリジナル)

With the increasing deployment of agricultural robots, the traditional manual spray of liquid fertilizer and pesticide is gradually being replaced by agricultural robots. For robotic precision spray application in vegetable farms, accurate plant phenotyping through instance segmentation and robust plant tracking are of great importance and a prerequisite for the following spray action. Regarding the robust tracking of vegetable plants, to solve the challenging problem of associating vegetables with similar color and texture in consecutive images, in this paper, a novel method of Multiple Object Tracking and Segmentation (MOTS) is proposed for instance segmentation and tracking of multiple vegetable plants. In our approach, contour and blob features are extracted to describe unique feature of each individual vegetable, and associate the same vegetables in different images. By assigning a unique ID for each vegetable, it ensures the robot to spray each vegetable exactly once, while traversing along the farm rows. Comprehensive experiments including ablation studies are conducted, which prove its superior performance over two State-Of-The-Art (SOTA) MOTS methods. Compared to the conventional MOTS methods, the proposed method is able to re-identify objects which have gone out of the camera field of view and re-appear again using the proposed data association strategy, which is important to ensure each vegetable be sprayed only once when the robot travels back and forth. Although the method is tested on lettuce farm, it can be applied to other similar vegetables such as broccoli and canola. Both code and the dataset of this paper is publicly released for the benefit of the community: https://github.com/NanH5837/LettuceMOTS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google