TomatoScanner: phenotyping tomato fruit based on only RGB image

要約

トマト温室では、表現型の測定は、研究者や農家が作物の成長を監視するために意味があり、それにより環境条件を正確に制御し、より良い品質とより高い収量につながります。
従来の表現型は主に手動測定に依存していますが、これは正確ですが非効率的で、より重要なことに、人々の健康と安全を危険にさらすことです。
いくつかの研究で、手動の表現型を置き換えるためのコンピュータービジョンベースの方法を調査しました。
ただし、2Dベースは追加のキャリブレーションを必要とするか、果物に破壊を引き起こすか、限られた意味のない特性のみを測定することができます。
3Dベースには、ほとんどの農家にとって高価で受け入れられない追加の深度カメラが必要です。
このホワイトペーパーでは、Tomatoscannerというタイトルの非接触トマトフルーツの表現タイプ化方法を提案します。ここでは、RGB画像が入力に必要なすべてです。
まず、ピクセル機能は、個々の分離とポーズ修正の前処理を伴う提案されたエッジヨーロのインスタンスセグメンテーションによって抽出されます。
第二に、深さの特徴は、深度プロの深さ推定によって抽出されます。
第三に、ピクセルと深さの特徴が融合して、表現型の結果が現実になります。
自己構築されたトマトの表現型データセットを確立して、幅、高さ、垂直面積、および体積で優れた表現型を達成し、相対誤差の中央値がそれぞれ5.63％、7.03％、-0.64％、37.06％で優れた表現型を達成します。
エッジョーロにEdgeLossとEdgeBoostの3つの革新的なモジュールを提案して追加して、エッジ部分のセグメンテーション精度を強化します。
精度と平均エッジの誤差は、それぞれ0.943および5.641％から0.986と2.963％に大幅に改善します。
一方、Edgeyoloは軽量で効率的であり、48.7 mの重量サイズと76.34 fpsを備えています。
コードとデータセット：https：//github.com/alextraveling/tomatoscanner。

要約(オリジナル)

In tomato greenhouse, phenotypic measurement is meaningful for researchers and farmers to monitor crop growth, thereby precisely control environmental conditions in time, leading to better quality and higher yield. Traditional phenotyping mainly relies on manual measurement, which is accurate but inefficient, more importantly, endangering the health and safety of people. Several studies have explored computer vision-based methods to replace manual phenotyping. However, the 2D-based need extra calibration, or cause destruction to fruit, or can only measure limited and meaningless traits. The 3D-based need extra depth camera, which is expensive and unacceptable for most farmers. In this paper, we propose a non-contact tomato fruit phenotyping method, titled TomatoScanner, where RGB image is all you need for input. First, pixel feature is extracted by instance segmentation of our proposed EdgeYOLO with preprocessing of individual separation and pose correction. Second, depth feature is extracted by depth estimation of Depth Pro. Third, pixel and depth feature are fused to output phenotype results in reality. We establish self-built Tomato Phenotype Dataset to test TomatoScanner, which achieves excellent phenotyping on width, height, vertical area and volume, with median relative error of 5.63%, 7.03%, -0.64% and 37.06%, respectively. We propose and add three innovative modules – EdgeAttention, EdgeLoss and EdgeBoost – into EdgeYOLO, to enhance the segmentation accuracy on edge portion. Precision and mean Edge Error greatly improve from 0.943 and 5.641% to 0.986 and 2.963%, respectively. Meanwhile, EdgeYOLO keeps lightweight and efficient, with 48.7 M weights size and 76.34 FPS. Codes and datasets: https://github.com/AlexTraveling/TomatoScanner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google