MarineDet: Towards Open-Marine Object Detection

要約

海洋の謎を解明し、貴重な海洋生態系についての理解を深めるという差し迫った必要性により、海洋研究において海洋物体の検出が注目を集めています。
水中画像内で目に見えない多様な海洋存在物を効率的かつ正確に識別し、位置を特定するには、深い要件があります。
Open-Marine Object Detection (略して OMOD) は、分類と位置特定を同時に実行しながら、目に見えない多様な海洋物体を検出する必要があります。
OMOD を実現するために、\textbf{MarineDet} を提示します。
私たちは事前トレーニングを通じて視覚とテキストの共同意味空間を定式化し、次に海洋に特化したトレーニングを実行して空から海洋への知識の伝達を実現します。
OMOD 用に設計された特定のデータセットがないことを考慮して、OMOD のパフォーマンスを促進および測定するために、821 個の海洋関連オブジェクト カテゴリから構成される \textbf{MarineDet データセット} を構築します。
実験結果は、既存のジェネラリストおよびスペシャリストの物体検出アルゴリズムよりも MarineDet のパフォーマンスが優れていることを示しています。
私たちの知る限り、私たちは海洋生態系の監視と管理のためのより価値があり実践的な設定を備えた OMOD を初めて紹介しました。
私たちの研究は海洋理解の限界を押し広げるだけでなく、OMOD の標準的なパイプラインも提供します。

要約(オリジナル)

Marine object detection has gained prominence in marine research, driven by the pressing need to unravel oceanic mysteries and enhance our understanding of invaluable marine ecosystems. There is a profound requirement to efficiently and accurately identify and localize diverse and unseen marine entities within underwater imagery. The open-marine object detection (OMOD for short) is required to detect diverse and unseen marine objects, performing categorization and localization simultaneously. To achieve OMOD, we present \textbf{MarineDet}. We formulate a joint visual-text semantic space through pre-training and then perform marine-specific training to achieve in-air-to-marine knowledge transfer. Considering there is no specific dataset designed for OMOD, we construct a \textbf{MarineDet dataset} consisting of 821 marine-relative object categories to promote and measure OMOD performance. The experimental results demonstrate the superior performance of MarineDet over existing generalist and specialist object detection algorithms. To the best of our knowledge, we are the first to present OMOD, which holds a more valuable and practical setting for marine ecosystem monitoring and management. Our research not only pushes the boundaries of marine understanding but also offers a standard pipeline for OMOD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google