Augmenting Automatic Speech Recognition Models with Disfluency Detection

要約

発話の流暢さは、会話や自発的な発話でよく発生します。
ただし、標準の自動音声認識 (ASR) モデルは、通常、流暢なトランスクリプトでトレーニングされるため、これらの不一致を正確に認識するのが困難です。
現在の研究は主に、トランスクリプト内の不一致を検出し、音声内の正確な位置と長さを見逃すことに焦点を当てています。
さらに、これまでの研究ではモデルの微調整が必​​要になることが多く、限られたタイプの不一致に対処していました。
この研究では、開集合の不一致を検出する機能を備えた ASR モデルを強化する推論のみのアプローチを紹介します。
まず、ASR モデルが音声の流暢性を転写するのが難しいことを示します。
次に、この研究では、\cite{kurzinger2020ctc} の修正されたコネクショニスト時間分類 (CTC) ベースの強制アラインメント アルゴリズムを提案し、流暢な音声を効果的にキャプチャしながら単語レベルのタイムスタンプを予測します。
さらに、タイムスタンプ間のアラインメントのギャップを、非流暢な音声または沈黙のいずれかを含むものとして分類するモデルを開発します。
このモデルは、81.62\% の精度と 80.07\% の F1 スコアを達成します。
非流動的なデータセットでアライメント ギャップの検出と分類の拡張パイプラインをテストします。
私たちの結果は、最初に文字起こしで欠落していた単語の 74.13\% を捕捉したことを示しており、このパイプラインが下流タスクで利用できる可能性を示しています。

要約(オリジナル)

Speech disfluency commonly occurs in conversational and spontaneous speech. However, standard Automatic Speech Recognition (ASR) models struggle to accurately recognize these disfluencies because they are typically trained on fluent transcripts. Current research mainly focuses on detecting disfluencies within transcripts, overlooking their exact location and duration in the speech. Additionally, previous work often requires model fine-tuning and addresses limited types of disfluencies. In this work, we present an inference-only approach to augment any ASR model with the ability to detect open-set disfluencies. We first demonstrate that ASR models have difficulty transcribing speech disfluencies. Next, this work proposes a modified Connectionist Temporal Classification(CTC)-based forced alignment algorithm from \cite{kurzinger2020ctc} to predict word-level timestamps while effectively capturing disfluent speech. Additionally, we develop a model to classify alignment gaps between timestamps as either containing disfluent speech or silence. This model achieves an accuracy of 81.62\% and an F1-score of 80.07\%. We test the augmentation pipeline of alignment gap detection and classification on a disfluent dataset. Our results show that we captured 74.13\% of the words that were initially missed by the transcription, demonstrating the potential of this pipeline for downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google