要約
自動音声認識 (ASR) におけるエラー修正は、ASR モデルによって生成された文内の間違った単語を修正することを目的としています。
最近の ASR モデルは通常、単語誤り率 (WER) が低いため、元々正しいトークンへの影響を避けるために、誤り訂正モデルは間違った単語のみを変更する必要があるため、誤り訂正には間違った単語を検出することが重要です。
エラー訂正に関するこれまでの研究では、ターゲットソースアテンションまたは CTC (コネクショニスト時間分類) 損失を通じてエラーワードを暗黙的に検出するか、特定の削除/置換/挿入エラーを明示的に特定します。
ただし、暗黙的なエラー検出ではどのトークンが正しくないのか明確な信号が得られず、明示的なエラー検出では検出精度が低くなります。
この論文では、明示的および暗黙的なエラー検出の制限を回避するために、ソフト エラー検出メカニズムを備えた SoftCorrect を提案します。
具体的には、まず専用に設計された言語モデルによって生成される確率を通じてトークンが正しいかどうかを検出し、次に検出された間違ったトークンのみを複製する制約付き CTC 損失を設計して、デコーダーがエラー トークンの修正に集中できるようにします。
CTC 損失による暗黙的なエラー検出と比較して、SoftCorrect はどの単語が間違っているかについて明示的なシグナルを提供するため、すべてのトークンを複製する必要はなく、間違ったトークンのみを複製する必要があります。
明示的なエラー検出と比較して、SoftCorrect は特定の削除/置換/挿入エラーを検出せず、CTC 損失に任せるだけです。
AISHELL-1 および Aidatang データセットの実験では、SoftCorrect がそれぞれ 26.1% と 9.4% の CER 削減を達成し、これまでの研究を大幅に上回り、並行生成の高速性を維持していることが示されました。
要約(オリジナル)
Error correction in automatic speech recognition (ASR) aims to correct those incorrect words in sentences generated by ASR models. Since recent ASR models usually have low word error rate (WER), to avoid affecting originally correct tokens, error correction models should only modify incorrect words, and therefore detecting incorrect words is important for error correction. Previous works on error correction either implicitly detect error words through target-source attention or CTC (connectionist temporal classification) loss, or explicitly locate specific deletion/substitution/insertion errors. However, implicit error detection does not provide clear signal about which tokens are incorrect and explicit error detection suffers from low detection accuracy. In this paper, we propose SoftCorrect with a soft error detection mechanism to avoid the limitations of both explicit and implicit error detection. Specifically, we first detect whether a token is correct or not through a probability produced by a dedicatedly designed language model, and then design a constrained CTC loss that only duplicates the detected incorrect tokens to let the decoder focus on the correction of error tokens. Compared with implicit error detection with CTC loss, SoftCorrect provides explicit signal about which words are incorrect and thus does not need to duplicate every token but only incorrect tokens; compared with explicit error detection, SoftCorrect does not detect specific deletion/substitution/insertion errors but just leaves it to CTC loss. Experiments on AISHELL-1 and Aidatatang datasets show that SoftCorrect achieves 26.1% and 9.4% CER reduction respectively, outperforming previous works by a large margin, while still enjoying fast speed of parallel generation.
arxiv情報
| 著者 | Yichong Leng,Xu Tan,Wenjie Liu,Kaitao Song,Rui Wang,Xiang-Yang Li,Tao Qin,Edward Lin,Tie-Yan Liu |
| 発行日 | 2023-12-20 15:00:43+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google