Explicitly incorporating spatial information to recurrent networks for agriculture

要約

農業では、視覚システムの大部分が静止画像の分類を実行します。
それでも、最近の研究は、分類パフォーマンスを改善するための豊富な情報源としての空間的および時間的手がかりの可能性を浮き彫りにしました。
この論文では、深い畳み込みニューラルネットワークの分類を改善するために、空間情報と時間情報の両方を明示的にキャプチャするための新しいアプローチを提案します。
利用可能なRGB-D画像とロボットオドメトリを活用して、フレーム間特徴マップの空間登録を実行します。
次に、この情報は、繰り返しの深い学習モデル内で融合され、精度と堅牢性が向上します。
これにより、最高のパフォーマンスを発揮する時空間モデル（ST-Atte）により、分類パフォーマンスが大幅に向上し、作物雑草のセグメンテーションで4.7、果物で2.6の交差オーバーユニオン（IoU [％]）の絶対的なパフォーマンスが向上することを示します。
（ピーマン）セグメンテーション。
さらに、これらのアプローチは、実際のアプリケーションで頻繁に観察される可変フレームレートおよびオドメトリエラーに対して堅牢であることを示します。

要約(オリジナル)

In agriculture, the majority of vision systems perform still image classification. Yet, recent work has highlighted the potential of spatial and temporal cues as a rich source of information to improve the classification performance. In this paper, we propose novel approaches to explicitly capture both spatial and temporal information to improve the classification of deep convolutional neural networks. We leverage available RGB-D images and robot odometry to perform inter-frame feature map spatial registration. This information is then fused within recurrent deep learnt models, to improve their accuracy and robustness. We demonstrate that this can considerably improve the classification performance with our best performing spatial-temporal model (ST-Atte) achieving absolute performance improvements for intersection-over-union (IoU[%]) of 4.7 for crop-weed segmentation and 2.6 for fruit (sweet pepper) segmentation. Furthermore, we show that these approaches are robust to variable framerates and odometry errors, which are frequently observed in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google