MMSD-Net: Towards Multi-modal Stuttering Detection

要約

吃音は、音声生成の不規則な中断によって引き起こされる一般的な音声障害であり、世界中で 7,000 万人以上が罹患しています。
標準的な自動音声処理ツールは音声障害を考慮していないため、どもりのある音声が入力された場合に意味のある結果を生成できません。
吃音の自動検出は、効率的でコンテキストを認識した音声処理システムを構築するための不可欠なステップです。
これまでのアプローチでは吃音検出のための統計的アプローチと神経的アプローチの両方が検討されていましたが、これらの方法はすべて本質的に単峰性です。
この論文では、吃音検出のための初のマルチモーダル ニューラル フレームワークである MMSD-Net について説明します。
実験と結果は、視覚信号を組み込むと吃音の検出が大幅に役立つことが実証されており、私たちのモデルは既存の最先端のユニモーダルアプローチと比較して F1 スコアが 2 ～ 17% 向上します。

要約(オリジナル)

Stuttering is a common speech impediment that is caused by irregular disruptions in speech production, affecting over 70 million people across the world. Standard automatic speech processing tools do not take speech ailments into account and are thereby not able to generate meaningful results when presented with stuttered speech as input. The automatic detection of stuttering is an integral step towards building efficient, context-aware speech processing systems. While previous approaches explore both statistical and neural approaches for stuttering detection, all of these methods are uni-modal in nature. This paper presents MMSD-Net, the first multi-modal neural framework for stuttering detection. Experiments and results demonstrate that incorporating the visual signal significantly aids stuttering detection, and our model yields an improvement of 2-17% in the F1-score over existing state-of-the-art uni-modal approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google