Towards Automatic Cetacean Photo-Identification: A Framework for Fine-Grain, Few-Shot Learning in Marine Ecology

要約

写真識別 (photo-id) は、鯨類 (イルカ、クジラ、ネズミイルカ) の個体数を監視するために海洋研究者が利用する、非侵襲的な捕獲と再捕獲の主要な方法の 1 つです。
この方法は、歴史的に手作業で行われており、膨大な数の画像が収集されるため、作業負荷とコストが高くなります。
最近、写真 ID の高速化を支援する自動化された支援が開発されましたが、これらは処理がバラバラであることが多く、利用可能なすべての識別情報を利用しているわけではありません。
このホワイトペーパーで紹介する作業は、トリミングなどのデータ前処理を必要とせずに、利用可能なすべての情報に基づいて最も可能性の高い一致を提供できる完全自動の写真 ID 支援を作成することを目的としています。
これは、コンピュータ ビジョン モデルのパイプラインと、未編集の野外画像でクジラ類を検出することを目的とした後処理技術によって達成され、個々のレベルのカタログ マッチングのために下流に渡されます。
このシステムは、以前にカタログ化されていない個人を処理し、カタログの類似性比較のおかげで調査のためにフラグを立てることができます。
複数の実際の写真 ID カタログに対してシステムを評価し、タンザニアと英国のカタログでそれぞれ mAP@IOU[0.5] = 0.91、0.96 を達成し、83.1、97.5% のトップ 10 精度を達成しました。
英国と米国のカタログを個別に分類するタスク。

要約(オリジナル)

Photo-identification (photo-id) is one of the main non-invasive capture-recapture methods utilised by marine researchers for monitoring cetacean (dolphin, whale, and porpoise) populations. This method has historically been performed manually resulting in high workload and cost due to the vast number of images collected. Recently automated aids have been developed to help speed-up photo-id, although they are often disjoint in their processing and do not utilise all available identifying information. Work presented in this paper aims to create a fully automatic photo-id aid capable of providing most likely matches based on all available information without the need for data pre-processing such as cropping. This is achieved through a pipeline of computer vision models and post-processing techniques aimed at detecting cetaceans in unedited field imagery before passing them downstream for individual level catalogue matching. The system is capable of handling previously uncatalogued individuals and flagging these for investigation thanks to catalogue similarity comparison. We evaluate the system against multiple real-life photo-id catalogues, achieving mAP@IOU[0.5] = 0.91, 0.96 for the task of dorsal fin detection on catalogues from Tanzania and the UK respectively and 83.1, 97.5% top-10 accuracy for the task of individual classification on catalogues from the UK and USA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google