ODYSSEE: Oyster Detection Yielded by Sensor Systems on Edge Electronics

要約

カキは沿岸生態系の要となる種であり、経済的、環境的、文化的に大きな利益をもたらします。
しかし、現在の監視システムは破壊的なものが多く、通常はカキを物理的に収集して計数するための浚渫作業が必要です。
非破壊的な代替手段は、ダイバーが収集したビデオ映像から手動で識別する方法ですが、これには専門家の意見が必要で、時間と労力がかかります。
人間による監視に代わる方法は、現場でリアルタイムにエッジオイスター検出を実行する、トレーニングされた物体検出モデルを備えたシステムの導入です。
そのようなプラットフォームの 1 つが Aqua2 ロボットです。
これらのモデルを効果的にトレーニングするには、広範囲にわたる高品質のデータが必要ですが、海洋環境ではそれを入手するのが困難です。
これらの複雑さに対処するために、安定した拡散を利用して海洋領域の高品質な合成データを生成する新しい方法を導入します。
私たちは拡散モデルを活用してフォトリアリスティックな海洋画像を作成し、ControlNet 入力を使用してセグメンテーション グラウンドトゥルース マスク、シーンのジオメトリ、カキの実際の水中画像のターゲット ドメインとの一貫性を確保します。
結果として得られるデータセットは、YOLOv10 ベースの視覚モデルのトレーニングに使用され、Aqua2 プラットフォームでのカキ検出で最先端の 0.657 mAP@50 を達成します。
私たちが導入したシステムは、カキの生息地の監視を改善するだけでなく、海洋環境におけるさまざまなタスクの自律監視への道を開き、水産養殖と保護の取り組みを改善します。

要約(オリジナル)

Oysters are a keystone species in coastal ecosystems, offering significant economic, environmental, and cultural benefits. However, current monitoring systems are often destructive, typically involving dredging to physically collect and count oysters. A nondestructive alternative is manual identification from video footage collected by divers, which is time-consuming and labor-intensive with expert input. An alternative to human monitoring is the deployment of a system with trained object detection models that performs real-time, on edge oyster detection in the field. One such platform is the Aqua2 robot. Effective training of these models requires extensive high-quality data, which is difficult to obtain in marine settings. To address these complications, we introduce a novel method that leverages stable diffusion to generate high-quality synthetic data for the marine domain. We exploit diffusion models to create photorealistic marine imagery, using ControlNet inputs to ensure consistency with the segmentation ground-truth mask, the geometry of the scene, and the target domain of real underwater images for oysters. The resulting dataset is used to train a YOLOv10-based vision model, achieving a state-of-the-art 0.657 mAP@50 for oyster detection on the Aqua2 platform. The system we introduce not only improves oyster habitat monitoring, but also paves the way to autonomous surveillance for various tasks in marine contexts, improving aquaculture and conservation efforts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google