CoralVOS: Dataset and Benchmark for Coral Video Segmentation

要約

サンゴ礁は最も価値があり生産的な海洋生態系を形成し、多くの海洋生物の生息地となっています。
現在、サンゴ礁の調査と分析は、収集された調査データから包括的で信頼できるレポート (\emph{例}、サンゴの被覆率、個体数、空間分布、\textit{etc}) を作成することに多大な労力を費やしているサンゴの専門家に限定されています。
ただし、手動作業に基づいて密集したサンゴ分析を実行するには非常に時間がかかり、既存のサンゴ分析アルゴリズムは妥協して、ダウンサンプリングを実行し、選択したフレーム内でまばらなポイントベースのサンゴ分析のみを実行することを選択します。
ただし、そのようなダウンサンプリングは \textbf{必然} 推定バイアスを導入したり、誤った結果につながることさえあります。
この問題に対処するために、ダウンサンプリングを行わずに \textbf{高密度サンゴビデオ セグメンテーション} を実行することを提案します。
ビデオ オブジェクトのセグメンテーションを通じて、既存のサンゴ礁分析アルゴリズムよりも \textit{信頼性が高く、\textit{詳細な}サンゴ分析を生成できます。
このような密集したサンゴの分析を強化するために、図 1 に示すように、大規模なサンゴビデオ セグメンテーション データセット \textbf{CoralVOS} を提案します。私たちの知る限り、CoralVOS は密集したサンゴビデオ セグメンテーションをサポートする最初のデータセットおよびベンチマークです。
。
私たちは、6 つの最新のビデオ オブジェクト セグメンテーション (VOS) アルゴリズムを含む CoralVOS データセットで実験を実行します。
CoralVOS データセットでこれらの VOS アルゴリズムを微調整し、目に見えるパフォーマンスの向上を達成しました。
この結果は、セグメンテーションの精度をさらに向上させる大きな可能性がまだあることを示しています。
データセットと訓練されたモデルは、サンゴ礁研究コミュニティを育成するために、この研究の承認とともにリリースされます。

要約(オリジナル)

Coral reefs formulate the most valuable and productive marine ecosystems, providing habitat for many marine species. Coral reef surveying and analysis are currently confined to coral experts who invest substantial effort in generating comprehensive and dependable reports (\emph{e.g.}, coral coverage, population, spatial distribution, \textit{etc}), from the collected survey data. However, performing dense coral analysis based on manual efforts is significantly time-consuming, the existing coral analysis algorithms compromise and opt for performing down-sampling and only conducting sparse point-based coral analysis within selected frames. However, such down-sampling will \textbf{inevitable} introduce the estimation bias or even lead to wrong results. To address this issue, we propose to perform \textbf{dense coral video segmentation}, with no down-sampling involved. Through video object segmentation, we could generate more \textit{reliable} and \textit{in-depth} coral analysis than the existing coral reef analysis algorithms. To boost such dense coral analysis, we propose a large-scale coral video segmentation dataset: \textbf{CoralVOS} as demonstrated in Fig. 1. To the best of our knowledge, our CoralVOS is the first dataset and benchmark supporting dense coral video segmentation. We perform experiments on our CoralVOS dataset, including 6 recent state-of-the-art video object segmentation (VOS) algorithms. We fine-tuned these VOS algorithms on our CoralVOS dataset and achieved observable performance improvement. The results show that there is still great potential for further promoting the segmentation accuracy. The dataset and trained models will be released with the acceptance of this work to foster the coral reef research community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google