Motion Informed Object Detection of Small Insects in Time-lapse Camera Recordings

要約

花粉媒介者としての昆虫は、生態系管理と世界の食糧生産において重要な役割を果たしています。
しかし、昆虫の個体数は減少しており、昆虫を監視する効率的な方法が求められています。
既存の方法では、自然界の昆虫のビデオまたはタイムラプス画像を分析しますが、昆虫は自然植生の複雑でダイナミックなシーンの小さなオブジェクトであるため、分析は困難です。
この研究では、夏の 2 か月間の間に 3 つの異なる植物種を訪れる主要なミツバチのデータセットを提供します。
このデータセットは、9,423 匹の注釈付き昆虫を含む、複数のカメラからの 107,387 枚の注釈付きタイムラプス画像で構成されています。
タイムラプス RGB 画像で昆虫を検出するためのメソッド パイプラインを紹介します。
パイプラインは 2 段階のプロセスで構成されます。
まず、タイムラプス RGB 画像は、画像内の昆虫を強調するために前処理されます。
このモーションインフォームドエンハンスメント技術は、動きと色を使用して画像内の昆虫を強調します。
次に、強化された画像が畳み込みニューラル ネットワーク (CNN) オブジェクト検出器に供給されます。
このメソッドは、深層学習オブジェクト検出器の You Only Look Once (YOLO) と Faster Regional-based CNN (Faster R-CNN) を改善します。
Motion-Informed-Enhancement を使用すると、YOLO 検出器はデータセットの平均マイクロ F1 スコアを 0.49 から 0.71 に改善し、Faster R-CNN 検出器は平均マイクロ F1 スコアを 0.32 から 0.56 に改善します。
私たちのデータセットと提案された方法は、飛行昆虫のタイムラプス カメラ監視を自動化するための一歩を提供します。
データセットは https://vision.eng.au.dk/mie/ で公開されています。

要約(オリジナル)

Insects as pollinators play a crucial role in ecosystem management and world food production. However, insect populations are declining, calling for efficient methods of insect monitoring. Existing methods analyze video or time-lapse images of insects in nature, but the analysis is challenging since insects are small objects in complex and dynamic scenes of natural vegetation. In this work, we provide a dataset of primary honeybees visiting three different plant species during two months of the summer period. The dataset consists of 107,387 annotated time-lapse images from multiple cameras, including 9,423 annotated insects. We present a method pipeline for detecting insects in time-lapse RGB images. The pipeline consists of a two-step process. Firstly, the time-lapse RGB images are preprocessed to enhance insects in the images. This Motion-Informed-Enhancement technique uses motion and colors to enhance insects in images. Secondly, the enhanced images are subsequently fed into a Convolutional Neural network (CNN) object detector. The method improves the deep learning object detectors You Only Look Once (YOLO) and Faster Region-based CNN (Faster R-CNN). Using Motion-Informed-Enhancement, the YOLO-detector improves the average micro F1-score from 0.49 to 0.71, and the Faster R-CNN-detector improves the average micro F1-score from 0.32 to 0.56 on the dataset. Our dataset and proposed method provide a step forward to automate the time-lapse camera monitoring of flying insects. The dataset is published on: https://vision.eng.au.dk/mie/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google