AIx Speed: Playback Speed Optimization Using Listening Comprehension of Speech Recognition Models

要約

人間は実際に観察されるよりも速い速度でオーディオを聞いたりビデオを見たりできるため、コンテンツを理解する時間効率を高めるために、これらのコンテンツをより高い再生速度で聞いたり見たりすることがよくあります。
この機能をさらに活用するために、ユーザーの状態やコンテンツの種類に応じて再生速度を自動調整し、時系列コンテンツのより効率的な理解を支援するシステムが開発されています。
しかし、これらのシステムには、さらに細かい時間単位に最適化された再生速度の音声を生成して人間に提供することで、人間の速聴能力をさらに拡張する余地が残されています。
本研究では、最適化された音声が人間に聞き取れるかどうかを判定し、音声明瞭度を確保しながら音素単位で再生速度を自動調整するシステムを提案する。
このシステムは、人間が特定の音声単位をどの程度聞き取れるかを示す代用として音声認識スコアを使用し、人間が聞き取れる範囲で音声の再生速度を最大化します。
この方法を使用すると、高速でわかりやすい音声を生成できます。
評価実験では、一定速度で再生した音声と提案手法により生成された柔軟に倍速した音声をブラインドテストで比較し、提案手法の方が聞き取りやすい音声が得られることを確認した。

要約(オリジナル)

Since humans can listen to audio and watch videos at faster speeds than actually observed, we often listen to or watch these pieces of content at higher playback speeds to increase the time efficiency of content comprehension. To further utilize this capability, systems that automatically adjust the playback speed according to the user’s condition and the type of content to assist in more efficient comprehension of time-series content have been developed. However, there is still room for these systems to further extend human speed-listening ability by generating speech with playback speed optimized for even finer time units and providing it to humans. In this study, we determine whether humans can hear the optimized speech and propose a system that automatically adjusts playback speed at units as small as phonemes while ensuring speech intelligibility. The system uses the speech recognizer score as a proxy for how well a human can hear a certain unit of speech and maximizes the speech playback speed to the extent that a human can hear. This method can be used to produce fast but intelligible speech. In the evaluation experiment, we compared the speech played back at a constant fast speed and the flexibly speed-up speech generated by the proposed method in a blind test and confirmed that the proposed method produced speech that was easier to listen to.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google