Edit Distance based RL for RNNT decoding

要約

RNN-T は、さまざまなベンチマーク テストで優れた WER を示し、シームレスなストリーミングと長い形式の文字起こしをサポートする機能により、現在 ASR の業界標準とみなされています。
ただし、その最大の欠点は、トレーニングと推論の目的の間に大きな矛盾があることにあります。
トレーニング中、RNN-T は教師による強制によってすべてのアライメント確率を最大化しますが、推論中はビーム検索を使用しますが、必ずしも最大のアライメント確率が見つかるとは限りません。
さらに、RNN-T は教師強制トレーニング中に間違いを経験できないため、推論で間違いが発生した場合に問題がさらに大きくなります。
この問題に対処するために、この論文では、トレーニング時間と推論時間の間のギャップを最小限に抑える強化学習方法を提案します。
当社の編集距離ベースの RL (EDRL) アプローチは、編集距離に基づいて報酬を計算し、あらゆるアクション レベルでネットワークをトレーニングします。
提案されたアプローチにより、600M Conformer RNN-T モデルの LibriSpeech 上で SoTA WER が生成されました。

要約(オリジナル)

RNN-T is currently considered the industry standard in ASR due to its exceptional WERs in various benchmark tests and its ability to support seamless streaming and longform transcription. However, its biggest drawback lies in the significant discrepancy between its training and inference objectives. During training, RNN-T maximizes all alignment probabilities by teacher forcing, while during inference, it uses beam search which may not necessarily find the maximum probable alignment. Additionally, RNN-T’s inability to experience mistakes during teacher forcing training makes it more problematic when a mistake occurs in inference. To address this issue, this paper proposes a Reinforcement Learning method that minimizes the gap between training and inference time. Our Edit Distance based RL (EDRL) approach computes rewards based on the edit distance, and trains the network at every action level. The proposed approach yielded SoTA WERs on LibriSpeech for the 600M Conformer RNN-T model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google