Weakly and Semi-Supervised Detection, Segmentation and Tracking of Table Grapes with Limited and Noisy Data

要約

果物と野菜の検出、セグメンテーション、および追跡は、精密農業の 3 つの基本的なタスクであり、ロボットによる収穫と収量推定アプリケーションを可能にします。
ただし、最新のアルゴリズムは大量のデータを必要とし、最高のパフォーマンスを発揮する教師ありアプローチを適用するのに十分なデータを常に収集できるとは限りません。
データ収集は高価で面倒な作業であるため、農業でコンピューター ビジョンを使用するための実現技術は、多くの場合、中小企業の手の届かないところにあります。
このコンテキストでの以前の研究に続いて、精密農業アプリケーションで最先端の検出とセグメンテーションを取得するために必要なデータを削減するために、最初の弱い教師付きソリューションを提案しました。ここでは、そのシステムを改善し、果物を追跡する問題を調査します
果樹園。
ブドウはオクルージョン、色、および一般的な照明条件のためにセグメント化が難しい果物であるため、ラツィオ州南部 (イタリア) の食用ブドウのブドウ園の事例を紹介します。
ソースデータとして機能する可能性のある最初のラベル付けされたデータ (ワインブドウデータなど) があるが、ターゲットデータ (テーブルブドウデータなど) とはかなり異なる場合を考えます。
ターゲット データの検出とセグメンテーションを改善するために、弱いバウンディング ボックス ラベルを使用してセグメンテーション アルゴリズムをトレーニングすることを提案します。追跡には、モーション アルゴリズムからの 3D 構造を活用して、既にラベル付けされたサンプルから新しいラベルを生成します。
最後に、2 つのシステムが完全な半教師付きアプローチで結合されます。
最先端の教師ありソリューションとの比較は、私たちの方法が、少数のラベル付き画像と非常に単純なラベル付けで高いパフォーマンスを達成する新しいモデルをどのようにトレーニングできるかを示しています。

要約(オリジナル)

Detection, segmentation and tracking of fruits and vegetables are three fundamental tasks for precision agriculture, enabling robotic harvesting and yield estimation applications. However, modern algorithms are data hungry and it is not always possible to gather enough data to apply the best performing supervised approaches. Since data collection is an expensive and cumbersome task, the enabling technologies for using computer vision in agriculture are often out of reach for small businesses. Following previous work in this context, where we proposed an initial weakly supervised solution to reduce the data needed to get state-of-the-art detection and segmentation in precision agriculture applications, here we improve that system and explore the problem of tracking fruits in orchards. We present the case of vineyards of table grapes in southern Lazio (Italy) since grapes are a difficult fruit to segment due to occlusion, color and general illumination conditions. We consider the case in which there is some initial labelled data that could work as source data (\eg wine grape data), but it is considerably different from the target data (e.g. table grape data). To improve detection and segmentation on the target data, we propose to train the segmentation algorithm with a weak bounding box label, while for tracking we leverage 3D Structure from Motion algorithms to generate new labels from already labelled samples. Finally, the two systems are combined in a full semi-supervised approach. Comparisons with state-of-the-art supervised solutions show how our methods are able to train new models that achieve high performances with few labelled images and with very simple labelling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google