Extending Whisper with prompt tuning to target-speaker ASR

要約

対象話者自動音声認識 (ASR) は、複数の話者の重複した発話から対象話者の目的の音声を書き起こすことを目的としています。
既存のターゲット話者 ASR (TS-ASR) 手法のほとんどは、ゼロからトレーニングするか、事前トレーニングされたモデルを完全に微調整する必要があるため、トレーニング コストが膨大になり、大規模な基礎モデルには適用できなくなります。
この研究では、パラメータ効率の高い微調整アプローチであるプロンプト チューニングを利用して、大規模なシングルトーカー ASR モデルである Whisper を TS-ASR に拡張します。
実験結果によると、プロンプト チューニングは、タスク固有のモデル パラメーターの約 1% のみを必要としながら、最先端の完全な微調整アプローチに匹敵するパフォーマンスを達成できることが示されています。
特に、逆テキスト正規化やタイムスタンプ予測などの元の Whisper の機能がターゲット話者 ASR に保持され、生成された文字起こしが自然で有益な状態に保たれています。

要約(オリジナル)

Target-speaker automatic speech recognition (ASR) aims to transcribe the desired speech of a target speaker from multi-talker overlapped utterances. Most of the existing target-speaker ASR (TS-ASR) methods involve either training from scratch or fully fine-tuning a pre-trained model, leading to significant training costs and becoming inapplicable to large foundation models. This work leverages prompt tuning, a parameter-efficient fine-tuning approach, to extend Whisper, a large-scale single-talker ASR model, to TS-ASR. Experimental results show that prompt tuning can achieve performance comparable to state-of-the-art full fine-tuning approaches while only requiring about 1% of task-specific model parameters. Notably, the original Whisper’s features, such as inverse text normalization and timestamp prediction, are retained in target-speaker ASR, keeping the generated transcriptions natural and informative.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google