A Stutter Seldom Comes Alone — Cross-Corpus Stuttering Detection as a Multi-label Problem

要約

吃音の検出と分類の研究のほとんどは、吃音を多クラスの分類問題、または流暢性障害のタイプごとの二値検出タスクとして見てきました。
しかし、これは吃音の性質とは一致しません。吃音では、1 つの流暢性障害が単独で発生することはほとんどなく、むしろ他の流暢性障害が同時に発生します。
この論文では、注意ベースの分類ヘッドとマルチタスク学習を備えた修正済み wav2vec 2.0 システムを使用した、マルチラベル問題としての多言語およびクロスコーパスのエンドツーエンドの吃音検出について調査します。
英語とドイツ語の吃音音声を含む 3 つのデータセットの組み合わせを使用してこの方法を評価します。そのうちの 1 つは流暢性整形によって修正された音声を含みます。
実験結果とエラー分析は、クロスコーパスおよび多言語データでトレーニングされたマルチラベル吃音検出システムが競合する結果を達成しているものの、複数のラベルを持つサンプルのパフォーマンスは全体的な検出結果を下回っていることを示しています。

要約(オリジナル)

Most stuttering detection and classification research has viewed stuttering as a multi-class classification problem or a binary detection task for each dysfluency type; however, this does not match the nature of stuttering, in which one dysfluency seldom comes alone but rather co-occurs with others. This paper explores multi-language and cross-corpus end-to-end stuttering detection as a multi-label problem using a modified wav2vec 2.0 system with an attention-based classification head and multi-task learning. We evaluate the method using combinations of three datasets containing English and German stuttered speech, one containing speech modified by fluency shaping. The experimental results and an error analysis show that multi-label stuttering detection systems trained on cross-corpus and multi-language data achieve competitive results but performance on samples with multiple labels stays below over-all detection results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google