Detecting Endangered Marine Species in Autonomous Underwater Vehicle Imagery Using Point Annotations and Few-Shot Learning

要約

自律型水中車両 (AUV) の用途の 1 つは、オーストラリアのタスマニアのハンドフィッシュなど、絶滅の危機に瀕し、保護されている海洋種に関連する生息地の監視です。
AUV によって収集された海底画像は、より広範な生息環境内で個人を識別するために使用できますが、収集された画像の膨大な量により、希少な個体や謎めいた個体を見つける努力が圧倒される可能性があります。
機械学習モデルは、トレーニングされた物体検出器を使用して画像内の特定の種の存在を識別するために使用できますが、トレーニング例が不足すると、特に野生でサンプルが少数しかない希少種の場合、検出パフォーマンスが低下します。
この論文では、少数ショット学習における最近の研究に触発され、一般的な海洋種の画像と注釈を活用して、希少種や謎めいた種を識別する検出器の能力を強化しています。
6 つの一般的な海洋生物種の注釈付き画像は 2 つの方法で使用されます。
まず、一般的な種が事前トレーニング ステップで使用され、バックボーンが海洋種の豊かな特徴を作成できるようになります。
次に、一般的な種の画像に対してコピー＆ペースト操作を使用して、トレーニング データを強化します。
より一般的な海洋種のアノテーションは公開データセットで利用できますが、それらは多くの場合ポイント形式であるため、物体検出器のトレーニングには適していません。
一般的なセマンティック セグメンテーション モデルは、利用可能なポイント アノテーションからトレーニング用のバウンディング ボックス アノテーションを効率的に生成します。
私たちが提案したフレームワークはハンドフィッシュの AUV 画像に適用され、ベースラインの物体検出トレーニングと比較して平均精度が最大 48\% 向上しました。
このアプローチは、注釈の数が少ない他のオブジェクトにも適用でき、絶滅危惧種、絶滅危惧種、保護種を積極的に監視する能力の向上が期待できます。

要約(オリジナル)

One use of Autonomous Underwater Vehicles (AUVs) is the monitoring of habitats associated with threatened, endangered and protected marine species, such as the handfish of Tasmania, Australia. Seafloor imagery collected by AUVs can be used to identify individuals within their broader habitat context, but the sheer volume of imagery collected can overwhelm efforts to locate rare or cryptic individuals. Machine learning models can be used to identify the presence of a particular species in images using a trained object detector, but the lack of training examples reduces detection performance, particularly for rare species that may only have a small number of examples in the wild. In this paper, inspired by recent work in few-shot learning, images and annotations of common marine species are exploited to enhance the ability of the detector to identify rare and cryptic species. Annotated images of six common marine species are used in two ways. Firstly, the common species are used in a pre-training step to allow the backbone to create rich features for marine species. Secondly, a copy-paste operation is used with the common species images to augment the training data. While annotations for more common marine species are available in public datasets, they are often in point format, which is unsuitable for training an object detector. A popular semantic segmentation model efficiently generates bounding box annotations for training from the available point annotations. Our proposed framework is applied to AUV images of handfish, increasing average precision by up to 48\% compared to baseline object detection training. This approach can be applied to other objects with low numbers of annotations and promises to increase the ability to actively monitor threatened, endangered and protected species.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google