Automated data curation for self-supervised learning in underwater acoustic analysis

要約

海洋生態系の持続可能性は、健全な汚染のレベルの増加によって脅かされており、その変動性と影響を理解するために監視が重要になります。
パッシブアコースティックモニタリング（PAM）システムは、大量の水中サウンド録音を収集しますが、大量のデータにより手動分析が不可能になり、自動化が必要になります。
機械学習は潜在的なソリューションを提供しますが、ほとんどの水中音響録音は無効です。
自己教師の学習モデルは、コンピュータービジョン、自然言語処理、オーディオなどのさまざまなドメインの大規模な非標識データからの学習に成功しています。
ただし、これらのモデルには、適切に一般化するために、トレーニングのために大規模で多様でバランスの取れたデータセットが必要です。
これに対処するために、RAW PAMデータから多様でバランスの取れたデータセットを作成するために、完全に自動化された自己監視データキュレーションパイプラインが提案されています。
自動識別システム（AIS）データを、米国の水域のさまざまなハイドロフォンからの録音と統合します。
階層K-Meansクラスタリングを使用して、生のオーディオデータがサンプリングされ、AISサンプルと組み合わされて、バランスのとれた多様なデータセットが作成されます。
結果として生じるキュレーションされたデータセットにより、自己監視学習モデルの開発が可能になり、海洋哺乳類の監視や健全な汚染の評価などのさまざまなタスクが促進されます。

要約(オリジナル)

The sustainability of the ocean ecosystem is threatened by increased levels of sound pollution, making monitoring crucial to understand its variability and impact. Passive acoustic monitoring (PAM) systems collect a large amount of underwater sound recordings, but the large volume of data makes manual analysis impossible, creating the need for automation. Although machine learning offers a potential solution, most underwater acoustic recordings are unlabeled. Self-supervised learning models have demonstrated success in learning from large-scale unlabeled data in various domains like computer vision, Natural Language Processing, and audio. However, these models require large, diverse, and balanced datasets for training in order to generalize well. To address this, a fully automated self-supervised data curation pipeline is proposed to create a diverse and balanced dataset from raw PAM data. It integrates Automatic Identification System (AIS) data with recordings from various hydrophones in the U.S. waters. Using hierarchical k-means clustering, the raw audio data is sampled and then combined with AIS samples to create a balanced and diverse dataset. The resulting curated dataset enables the development of self-supervised learning models, facilitating various tasks such as monitoring marine mammals and assessing sound pollution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google