Multi-Microphone Speaker Separation by Spatial Regions

要約

残響のあるマルチマイク録音の領域ベースのソース分離のタスクを検討します。
領域ごとに 1 つのアクティブなソースを持つ事前定義された空間領域を想定しています。
目的は、信号と空間領域の間の対応を保持しながら、参照マイクによってキャプチャされた個々の空間領域からの信号を推定することです。
さまざまなレイヤーが空間情報と時空間情報をモデル化する、最先端のネットワークの修正版を使用したデータ駆動型アプローチを提案します。
ネットワークは、領域からネットワーク出力への固定マッピングを適用するようにトレーニングされています。
LibriMix の音声を使用して、地域情報を含むように特別に設計されたデータ セットを構築します。
さらに、順列不変トレーニングでネットワークをトレーニングします。
どちらのトレーニング方法でも、領域からネットワーク出力への固定マッピングが得られ、同等のパフォーマンスが達成され、ネットワークが空間情報を活用することが示されます。
提案されたネットワークは、スケール不変の信号対歪み比でベースライン ネットワークを 1.5 dB 上回っています。

要約(オリジナル)

We consider the task of region-based source separation of reverberant multi-microphone recordings. We assume pre-defined spatial regions with a single active source per region. The objective is to estimate the signals from the individual spatial regions as captured by a reference microphone while retaining a correspondence between signals and spatial regions. We propose a data-driven approach using a modified version of a state-of-the-art network, where different layers model spatial and spectro-temporal information. The network is trained to enforce a fixed mapping of regions to network outputs. Using speech from LibriMix, we construct a data set specifically designed to contain the region information. Additionally, we train the network with permutation invariant training. We show that both training methods result in a fixed mapping of regions to network outputs, achieve comparable performance, and that the networks exploit spatial information. The proposed network outperforms a baseline network by 1.5 dB in scale-invariant signal-to-distortion ratio.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google