Detection and classification of vocal productions in large scale audio recordings

要約

私たちは、大規模な自然音声録音から音声作品を抽出し、これらの音声作品を分類するための自動データ処理パイプラインを提案します。
このパイプラインはディープ ニューラル ネットワークに基づいており、両方の問題に同時に対処します。
一連の計算ステップ (ウィンドウ処理、ノイズ クラスの作成、データ拡張、再サンプリング、転移学習、ベイジアン最適化) を必要としますが、大量のラベル付きデータ サンプルや重要なコンピューティング リソースを必要とせずに、ニューラル ネットワークを自動的にトレーニングします。
当社のエンドツーエンドの方法論は、さまざまな録音条件下で行われたノイズの多い録音を処理できます。
私たちは 2 つの異なる自然音声データ セットでテストしました。1 つは霊長類研究センターで録音されたギニアヒヒのグループからのもので、もう 1 つは自宅で録音された人間の赤ちゃんからのものです。
このパイプラインは、72 分と 77 分のラベル付き音声録音でモデルをトレーニングし、精度は 94.58% と 99.76% です。
次に、443 時間と 174 時間の自然連続録画を処理するために使用され、それぞれ 38.8 時間と 35.2 時間の 2 つの新しいデータベースが作成されます。
あらゆる大規模なオーディオ録音に適用できるこのアプローチの長所と限界について説明します。

要約(オリジナル)

We propose an automatic data processing pipeline to extract vocal productions from large-scale natural audio recordings and classify these vocal productions. The pipeline is based on a deep neural network and adresses both issues simultaneously. Though a series of computationel steps (windowing, creation of a noise class, data augmentation, re-sampling, transfer learning, Bayesian optimisation), it automatically trains a neural network without requiring a large sample of labeled data and important computing resources. Our end-to-end methodology can handle noisy recordings made under different recording conditions. We test it on two different natural audio data sets, one from a group of Guinea baboons recorded from a primate research center and one from human babies recorded at home. The pipeline trains a model on 72 and 77 minutes of labeled audio recordings, with an accuracy of 94.58% and 99.76%. It is then used to process 443 and 174 hours of natural continuous recordings and it creates two new databases of 38.8 and 35.2 hours, respectively. We discuss the strengths and limitations of this approach that can be applied to any massive audio recording.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google