Scalable Semantic 3D Mapping of Coral Reefs with Deep Learning

要約

サンゴ礁は地球上で最も多様な生態系の 1 つであり、何億もの人々に依存しています。
残念なことに、ほとんどのサンゴ礁は、地球規模の気候変動と局地的な人為的圧力によって存続の危機にさらされています。
サンゴ礁の劣化の根底にある力学をより深く理解するには、高い空間的および時間的解像度でのモニタリングが重要です。
しかし、サンゴの被覆と種の存在量を定量化する従来のモニタリング方法は、多大な手作業が必要なため、規模が限られています。
このプロセスを支援するためにコンピュータ ビジョン ツール、特に 3D マッピング用の SfM 写真測量や画像セグメンテーション用のディープ ニューラル ネットワークが使用されていますが、データ製品の分析がボトルネックを生み出し、そのスケーラビリティを効果的に制限します。
この論文では、エゴモーションビデオから水中環境をマッピングするための新しいパラダイムを提示し、画像のセマンティックセグメンテーションのための最新のアプローチと組み合わせて、機械学習を使用して水中の困難な条件に適応する 3D マッピングシステムを統合します。
この方法は、紅海のアカバ湾北部のサンゴ礁で実証され、必要な人件費を大幅に削減しながら、前例のない規模で高精度の 3D セマンティック マッピングを実証しています。安価な消費者とのダイビングから 5 分以内に 100 m のビデオ トランセクトが取得されます。
グレードカメラは5分以内に全自動で分析できます。
私たちのアプローチは、ビデオトランセクトの完全自動分析に飛躍することで、サンゴ礁のモニタリングを大幅にスケールアップします。
この方法は、労働力、設備、物流、およびコンピューティングのコストを削減することにより、サンゴ礁の横断領域を民主化します。
これは、保全政策をより効率的に知らせるのに役立ちます。
学習ベースの Structure-from-Motion の基礎となる計算手法は、サンゴ礁以外の水中環境の高速かつ低コストのマッピングに広範な影響を及ぼします。

要約(オリジナル)

Coral reefs are among the most diverse ecosystems on our planet, and are depended on by hundreds of millions of people. Unfortunately, most coral reefs are existentially threatened by global climate change and local anthropogenic pressures. To better understand the dynamics underlying deterioration of reefs, monitoring at high spatial and temporal resolution is key. However, conventional monitoring methods for quantifying coral cover and species abundance are limited in scale due to the extensive manual labor required. Although computer vision tools have been employed to aid in this process, in particular SfM photogrammetry for 3D mapping and deep neural networks for image segmentation, analysis of the data products creates a bottleneck, effectively limiting their scalability. This paper presents a new paradigm for mapping underwater environments from ego-motion video, unifying 3D mapping systems that use machine learning to adapt to challenging conditions under water, combined with a modern approach for semantic segmentation of images. The method is exemplified on coral reefs in the northern Gulf of Aqaba, Red Sea, demonstrating high-precision 3D semantic mapping at unprecedented scale with significantly reduced required labor costs: a 100 m video transect acquired within 5 minutes of diving with a cheap consumer-grade camera can be fully automatically analyzed within 5 minutes. Our approach significantly scales up coral reef monitoring by taking a leap towards fully automatic analysis of video transects. The method democratizes coral reef transects by reducing the labor, equipment, logistics, and computing cost. This can help to inform conservation policies more efficiently. The underlying computational method of learning-based Structure-from-Motion has broad implications for fast low-cost mapping of underwater environments other than coral reefs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google