Analyzing And Improving Neural Speaker Embeddings for ASR

要約

ニューラル話者埋め込みは、DNN モデルを通じて話者の音声特性をエンコードし、話者検証タスクで普及しています。
ただし、ASR システムでのニューラル スピーカー埋め込みの使用法を調査した研究はほとんどありません。
この研究では、ニューラル スピーカーの埋め込みを配座異性体ベースのハイブリッド HMM ASR システムに統合することに関する私たちの取り組みを紹介します。
ASR の場合、改良された埋め込み抽出パイプラインと Weighted-Simple-Add 統合手法を組み合わせた結果、x ベクトルと c ベクトルは i ベクトルと同等のパフォーマンスに達します。
さらに、さまざまなスピーカーの埋め込みを比較および分析します。
newbob 学習率スケジュールから 1 サイクル学習スケジュールに切り替えることで得られた音響モデルの改善を示します。その結果、スイッチボードでの相対的な WER が最大 3% 削減され、さらに全体のトレーニング時間が 17% 削減されました。
ニューラル スピーカーの埋め込みをさらに追加することで、Hub5’00 でさらに最大 3% の相対的な WER 改善が得られます。
スピーカー埋め込みを備えた当社の最高の Conformer ベースのハイブリッド ASR システムは、SWB 300h でのトレーニングにより、Hub5’00 および Hub5’01 で 9.0% の WER を達成しました。

要約(オリジナル)

Neural speaker embeddings encode the speaker’s speech characteristics through a DNN model and are prevalent for speaker verification tasks. However, few studies have investigated the usage of neural speaker embeddings for an ASR system. In this work, we present our efforts w.r.t integrating neural speaker embeddings into a conformer based hybrid HMM ASR system. For ASR, our improved embedding extraction pipeline in combination with the Weighted-Simple-Add integration method results in x-vector and c-vector reaching on par performance with i-vectors. We further compare and analyze different speaker embeddings. We present our acoustic model improvements obtained by switching from newbob learning rate schedule to one cycle learning schedule resulting in a ~3% relative WER reduction on Switchboard, additionally reducing the overall training time by 17%. By further adding neural speaker embeddings, we gain additional ~3% relative WER improvement on Hub5’00. Our best Conformer-based hybrid ASR system with speaker embeddings achieves 9.0% WER on Hub5’00 and Hub5’01 with training on SWB 300h.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google