A Video-Based Activity Classification of Human Pickers in Agriculture

要約

農業システムにおける収穫作業は、時間とリソースを消費する退屈な作業です。
これに基づいて、農場労働者と一緒に作業する自律ロボット群を導入することで、生産性と物流面で多大なメリットがもたらされる可能性があります。
次に、インテリジェントロボットシステムは人間の行動を監視し、進行中の活動を特定し、作業者のニーズを予測する必要があります。
この研究における主な貢献は、ビデオベースの人間の収穫者検出のためのベンチマーク モデルを作成し、さまざまな農業シナリオの収穫作業に役立つように彼らの活動を分類することで構成されています。
私たちのソリューションでは、オブジェクト検出にはマスク領域ベースの畳み込みニューラル ネットワーク (マスク R-CNN) を、動き推定にはオプティカル フローを組み合わせて使用​​し、相関感度 (CS) と呼ばれるフロー モーション記述子の新たに追加された統計属性を使用します。
分類基準は、カーネル密度推定 (KDE) 分析と K 平均法クラスタリング アルゴリズムに基づいて定義され、イチゴのポリトンネルやリンゴの木果樹園などのさまざまな作物畑から社内で収集されたデータセットに基づいて実装されます。
提案されたフレームワークは、感度、特異性、精度の尺度を使用して定量的に分析され、照明の変動、ぼやけ、オクルージョンなどのさまざまなデータセットの課題の中でも満足のいく結果を示しています。

要約(オリジナル)

In farming systems, harvesting operations are tedious, time- and resource-consuming tasks. Based on this, deploying a fleet of autonomous robots to work alongside farmworkers may provide vast productivity and logistics benefits. Then, an intelligent robotic system should monitor human behavior, identify the ongoing activities and anticipate the worker’s needs. In this work, the main contribution consists of creating a benchmark model for video-based human pickers detection, classifying their activities to serve in harvesting operations for different agricultural scenarios. Our solution uses the combination of a Mask Region-based Convolutional Neural Network (Mask R-CNN) for object detection and optical flow for motion estimation with newly added statistical attributes of flow motion descriptors, named as Correlation Sensitivity (CS). A classification criterion is defined based on the Kernel Density Estimation (KDE) analysis and K-means clustering algorithm, which are implemented upon in-house collected dataset from different crop fields like strawberry polytunnels and apple tree orchards. The proposed framework is quantitatively analyzed using sensitivity, specificity, and accuracy measures and shows satisfactory results amidst various dataset challenges such as lighting variation, blur, and occlusions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google