Importance of realism in procedurally-generated synthetic images for deep learning: case studies in maize and canola

要約

人工ニューラル ネットワークは、作物の特徴を識別するためによく使用されます。
ただし、モデルのトレーニングには多くの注釈付き画像が必要であり、取得に費用と時間がかかる可能性があります。
リンデンマイヤー システム (L システム) で開発されたような植物の手続き型モデルを作成して、視覚的に現実的なシミュレーション、つまり注釈が暗黙的に知られている植物シミュレーションの画像を生成することができます。
これらの合成画像は、表現型解析タスク用のニューラル ネットワークのトレーニングにおいて実際の画像を拡張したり、完全に置き換えたりすることができます。
この論文では、L システムから生成された合成画像が実際の画像の予測に役立つ状況をよりよく理解するために、トウモロコシとアブラナの両方のトレーニングに使用される実際の画像と合成画像の量を系統的に変更しました。
この研究では、合成画像のリアリズムが予測をどの程度改善するかについても調査しています。
手続き型キャノーラ モデルには 5 つの異なるバリアントがあり (これらのバリアントは、キャリブレーションを使用しながらリアリズムを調整することによって作成されました)、ディープ ラーニングの結果は、キャノーラ合成画像がよりリアルになるにつれてこれらの結果がどれほど劇的に向上するかを示しました。
さらに、ニューラル ネットワークの予測を使用して L システム自体を調整し、フィードバック ループを作成する方法を確認します。

要約(オリジナル)

Artificial neural networks are often used to identify features of crop plants. However, training their models requires many annotated images, which can be expensive and time-consuming to acquire. Procedural models of plants, such as those developed with Lindenmayer-systems (L-systems) can be created to produce visually realistic simulations, and hence images of plant simulations, where annotations are implicitly known. These synthetic images can either augment or completely replace real images in training neural networks for phenotyping tasks. In this paper, we systematically vary amounts of real and synthetic images used for training in both maize and canola to better understand situations where synthetic images generated from L-systems can help prediction on real images. This work also explores the degree to which realism in the synthetic images improves prediction. We have five different variants of a procedural canola model (these variants were created by tuning the realism while using calibration), and the deep learning results showed how drastically these results improve as the canola synthetic images are made to be more realistic. Furthermore, we see how neural network predictions can be used to help calibrate L-systems themselves, creating a feedback loop.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google