Flowchase: a Mobile Application for Pronunciation Training

要約

この論文では、音声の分節的特徴と超分節的特徴を分割および分析できる音声技術に接続された Flowchase と呼ばれるモバイル アプリケーションを通じて、英語学習者にパーソナライズされた即時フィードバックを提供するソリューションを紹介します。
音声処理パイプラインは、分析する発話に対応する言語情報を音声サンプルとともに受け取ります。
音声サンプルの検証後、一連の分節および超分節発音の側面に関するフィードバックを設計するために必要な情報を提供する音声表現学習に基づく機械学習モデルの組み合わせにより、強制アライメントと音声認識の統合が実行されます。

要約(オリジナル)

In this paper, we present a solution for providing personalized and instant feedback to English learners through a mobile application, called Flowchase, that is connected to a speech technology able to segment and analyze speech segmental and supra-segmental features. The speech processing pipeline receives linguistic information corresponding to an utterance to analyze along with a speech sample. After validation of the speech sample, a joint forced-alignment and phonetic recognition is performed thanks to a combination of machine learning models based on speech representation learning that provides necessary information for designing a feedback on a series of segmental and supra-segmental pronunciation aspects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google