Diving with Penguins: Detecting Penguins and their Prey in Animal-borne Underwater Videos via Deep Learning

要約

アフリカペンギン (Spheniscus demersus) は絶滅危惧種です。
彼らの水中での狩猟戦略とそれに伴う捕食の成功率についてはほとんどわかっていませんが、これは保護を導く上で不可欠です。
最新のバイオロギング技術には貴重な洞察が得られる可能性がありますが、動物由来のビデオレコーダー (AVR) からの大量のデータを手動で分析するには時間がかかります。
この論文では、動物由来のペンギンの水中ビデオ データセットを公開し、ペンギン (mAP50@98.0%) と魚のインスタンス (mAP50@73.3%) を確実に検出できる、すぐに導入できる深層学習システムを紹介します。
検出器は気泡学習から明らかな恩恵を受けて精度が向上することに注目します。
この検出器をデュアルストリーム行動認識ネットワークに拡張して、ペンギンの水中ビデオにおける捕食行動を識別するための最初の結果も提供します。
結果は有望ですが、捕食行動検出を野外シナリオに有効に適用するにはさらなる研究が必要です。
要約すると、私たちは信頼性の高い水中ペンギン探知機、魚探知機、そして海洋捕食者の複雑な行動の自動視覚検出に向けた貴重な最初の試みを提供します。
完全な再現性と実践者による即時の使用を可能にするために、ネットワーク、DivingWithPenguins ビデオ データセット、注釈、分割、重みを公開しています。

要約(オリジナル)

African penguins (Spheniscus demersus) are an endangered species. Little is known regarding their underwater hunting strategies and associated predation success rates, yet this is essential for guiding conservation. Modern bio-logging technology has the potential to provide valuable insights, but manually analysing large amounts of data from animal-borne video recorders (AVRs) is time-consuming. In this paper, we publish an animal-borne underwater video dataset of penguins and introduce a ready-to-deploy deep learning system capable of robustly detecting penguins (mAP50@98.0%) and also instances of fish (mAP50@73.3%). We note that the detectors benefit explicitly from air-bubble learning to improve accuracy. Extending this detector towards a dual-stream behaviour recognition network, we also provide the first results for identifying predation behaviour in penguin underwater videos. Whilst results are promising, further work is required for useful applicability of predation behaviour detection in field scenarios. In summary, we provide a highly reliable underwater penguin detector, a fish detector, and a valuable first attempt towards an automated visual detection of complex behaviours in a marine predator. We publish the networks, the DivingWithPenguins video dataset, annotations, splits, and weights for full reproducibility and immediate usability by practitioners.

arxiv情報

著者 Kejia Zhang,Mingyu Yang,Stephen D. J. Lang,Alistair M. McInnes,Richard B. Sherley,Tilo Burghardt
発行日 2023-08-14 16:50:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV パーマリンク