Leaf Angle Estimation using Mask R-CNN and LETR Vision Transformer

要約

現代の研究では、高収量作物品種と直立葉角の植物との間に高い相関関係があることが示されている。葉の角度が直立している植物は、そうでない植物よりも多くの光を遮り、光合成の割合が高くなることが観察されている。植物科学者や育種家は、圃場で植物のパラメータを直接測定できるツール、すなわち圃場でのフェノタイピングから利益を得ている。圃場での手作業による葉の角度の推定は、退屈で面倒である。我々は、マスクR-CNNインスタンスセグメンテーションニューラルネットワークと、視覚変換器であるLine Segment Transformer (LETR)の組み合わせを用いて、この面倒さを軽減する。提案するコンピュータビジョン（CV）パイプラインは、2015年夏-エイムズULAと2015年夏-エイムズMLAという2つの画像データセットに適用され、現場での表現型判定を目的としたAndroidアプリケーションであるFieldBookを用いて現場で収集された合計1,827枚の植物画像を用いている。提案するパイプラインによって画像データセット上で推定された葉角度は、国立衛生研究所とLaboratory for Optical and Computational Instrumentationで開発されたJavaベースの画像処理プログラムであるImageJを用いて、2つの独立した手動測定と比較された。コサイン類似度尺度を用いて類似度を比較した結果、2015年夏-Ames ULAと2015年夏-Ames MLAの画像データセットの両方の独立した測定において0.98の類似度スコアを示し、葉の角度のオンサイト測定における提案パイプラインの実現可能性を実証した。

要約(オリジナル)

Modern day studies show a high degree of correlation between high yielding crop varieties and plants with upright leaf angles. It is observed that plants with upright leaf angles intercept more light than those without upright leaf angles, leading to a higher rate of photosynthesis. Plant scientists and breeders benefit from tools that can directly measure plant parameters in the field i.e. on-site phenotyping. The estimation of leaf angles by manual means in a field setting is tedious and cumbersome. We mitigate the tedium using a combination of the Mask R-CNN instance segmentation neural network, and Line Segment Transformer (LETR), a vision transformer. The proposed Computer Vision (CV) pipeline is applied on two image datasets, Summer 2015-Ames ULA and Summer 2015- Ames MLA, with a combined total of 1,827 plant images collected in the field using FieldBook, an Android application aimed at on-site phenotyping. The leaf angles estimated by the proposed pipeline on the image datasets are compared to two independent manual measurements using ImageJ, a Java-based image processing program developed at the National Institutes of Health and the Laboratory for Optical and Computational Instrumentation. The results, when compared for similarity using the Cosine Similarity measure, exhibit 0.98 similarity scores on both independent measurements of Summer 2015-Ames ULA and Summer 2015-Ames MLA image datasets, demonstrating the feasibility of the proposed pipeline for on-site measurement of leaf angles.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL