Hierarchical Approach for Joint Semantic, Plant Instance, and Leaf Instance Segmentation in the Agricultural Domain

要約

植物の表現型は、植物の成長段階、発達、およびその他の関連量を記述するため、農業の中心的なタスクです。
ロボットは、葉の数、葉の面積、植物のサイズなどの植物の特性を正確に推定することで、このプロセスを自動化するのに役立ちます。
このホワイト ペーパーでは、RGB データからの作物畑のジョイント セマンティック、プラント インスタンス、リーフ インスタンス セグメンテーションの問題に対処します。
基礎となる階層構造を利用して、3 つのタスクに同時に対処する単一の畳み込みニューラル ネットワークを提案します。
タスク固有のスキップ接続を導入します。これは、実験的評価により、通常のスキームよりも有益であることが証明されています。
また、葉が重なっているために農業分野で一般的な、空間的に近いインスタンスの問題に明示的に対処する、新しい自動後処理を提案します。
私たちのアーキテクチャは、農業の文脈でこれらの問題に同時に取り組みます。
以前の作業は、植物または葉のセグメンテーションに焦点を当てているか、セマンティック セグメンテーションを最適化していません。
結果は、システムが最先端のアプローチよりも優れたパフォーマンスを発揮する一方で、パラメーターの数が減り、カメラのフレームレートで動作していることを示しています。

要約(オリジナル)

Plant phenotyping is a central task in agriculture, as it describes plants’ growth stage, development, and other relevant quantities. Robots can help automate this process by accurately estimating plant traits such as the number of leaves, leaf area, and the plant size. In this paper, we address the problem of joint semantic, plant instance, and leaf instance segmentation of crop fields from RGB data. We propose a single convolutional neural network that addresses the three tasks simultaneously, exploiting their underlying hierarchical structure. We introduce task-specific skip connections, which our experimental evaluation proves to be more beneficial than the usual schemes. We also propose a novel automatic post-processing, which explicitly addresses the problem of spatially close instances, common in the agricultural domain because of overlapping leaves. Our architecture simultaneously tackles these problems jointly in the agricultural context. Previous works either focus on plant or leaf segmentation, or do not optimise for semantic segmentation. Results show that our system has superior performance to state-of-the-art approaches, while having a reduced number of parameters and is operating at camera frame rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google