Turning Whisper into Real-Time Transcription System

要約

Whisper は、最近の最先端の多言語音声認識および翻訳モデルの 1 つですが、リアルタイムの文字起こし用に設計されていません。
このペーパーでは、Whisper をベースに構築し、Whisper のようなモデルのリアルタイム音声転写と翻訳の実装である Whisper-Streaming を作成します。
Whisper-Streaming は、自己適応型レイテンシを備えたローカル アグリーメント ポリシーを使用して、ストリーミング文字起こしを可能にします。
我々は、Whisper-Streaming がセグメント化されていない長文音声書き起こしテスト セットで高品質と 3.3 秒の遅延を達成することを示し、多言語会議でのライブ書き起こしサービスのコンポーネントとしての堅牢性と実用的な使いやすさを実証します。

要約(オリジナル)

Whisper is one of the recent state-of-the-art multilingual speech recognition and translation models, however, it is not designed for real time transcription. In this paper, we build on top of Whisper and create Whisper-Streaming, an implementation of real-time speech transcription and translation of Whisper-like models. Whisper-Streaming uses local agreement policy with self-adaptive latency to enable streaming transcription. We show that Whisper-Streaming achieves high quality and 3.3 seconds latency on unsegmented long-form speech transcription test set, and we demonstrate its robustness and practical usability as a component in live transcription service at a multilingual conference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google