SeACo-Paraformer: A Non-Autoregressive ASR System with Flexible and Effective Hotword Customization Ability

要約

ホットワードのカスタマイズは、ASR 分野に残された重要な問題の 1 つです。ASR システムのユーザーがエンティティ、人物、およびその他のフレーズの名前をカスタマイズできるようにすることには価値があります。
過去数年間で、ASR コンテキスト化のための暗黙的モデリング戦略と明示的モデリング戦略の両方が開発されました。
これらのアプローチは適切に機能していますが、有効性が不安定であるなどのいくつかの欠点がまだあります。
この論文では、柔軟かつ効果的なホットワード カスタマイズ機能を備えた新しい NAR ベースの ASR システムである Semantic-augmented Contextual-Paraformer (SeACo-Paraformer) を提案します。
これは、AED ベースのモデルの精度、NAR モデルの効率、およびコンテキスト化における優れたパフォーマンスを組み合わせています。
50,000 時間の産業ビッグデータ実験において、私たちが提案したモデルはカスタマイズと一般的な ASR タスクにおいて強力なベースラインを上回りました。
さらに、さらなる改善のために、大規模な受信ホットワードをフィルタリングする効率的な方法を模索します。
提案および比較されたソース コードと産業モデルはすべて公開されており、また 2 つのホットワード テスト セットも公開されています。

要約(オリジナル)

Hotword customization is one of the important issues remained in ASR field – it is of value to enable users of ASR systems to customize names of entities, persons and other phrases. The past few years have seen both implicit and explicit modeling strategies for ASR contextualization developed. While these approaches have performed adequately, they still exhibit certain shortcomings such as instability in effectiveness. In this paper we propose Semantic-augmented Contextual-Paraformer (SeACo-Paraformer) a novel NAR based ASR system with flexible and effective hotword customization ability. It combines the accuracy of the AED-based model, the efficiency of the NAR model, and the excellent performance in contextualization. In 50,000 hours industrial big data experiments, our proposed model outperforms strong baselines in customization and general ASR tasks. Besides, we explore an efficient way to filter large scale incoming hotwords for further improvement. The source codes and industrial models proposed and compared are all opened as well as two hotword test sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google