Incorporating Class-based Language Model for Named Entity Recognition in Factorized Neural Transducer

要約

近年の音声認識におけるエンドツーエンド (E2E) モデルの目覚ましい進歩にも関わらず、固有表現認識は依然として困難を極めていますが、意味的理解には不可欠です。
E2E モデルで名前付きエンティティを認識する能力を強化するために、これまでの研究は主に、さまざまなルールベースまたはアテンションベースのコンテキスト バイアス アルゴリズムに焦点を当てていました。
ただし、それらのパフォーマンスは、偏った重みの影響を受けやすくなったり、名前付きエンティティ リストへの過度の注意によって低下したり、誤ったトリガーのリスクが発生したりする可能性があります。
従来のハイブリッドシステムにおける固有表現認識におけるクラスベースの言語モデル（LM）の成功と、因数分解されたニューラルトランスデューサ（FNT）における音響情報と言語情報の効果的な分離に触発され、我々はクラスベースの言語モデル（LM）を組み込む新しいE2Eモデルを提案します。
ベースの LM を FNT に変換します。これは C-FNT と呼ばれます。
C-FNT では、名前付きエンティティの言語モデル スコアを、その表面形式ではなく名前クラスに関連付けることができます。
実験結果は、私たちが提案した C-FNT が、一般的な単語認識のパフォーマンスを損なうことなく、固有表現のエラーを大幅に削減することを示しています。

要約(オリジナル)

In spite of the excellent strides made by end-to-end (E2E) models in speech recognition in recent years, named entity recognition is still challenging but critical for semantic understanding. In order to enhance the ability to recognize named entities in E2E models, previous studies mainly focus on various rule-based or attention-based contextual biasing algorithms. However, their performance might be sensitive to the biasing weight or degraded by excessive attention to the named entity list, along with a risk of false triggering. Inspired by the success of the class-based language model (LM) in named entity recognition in conventional hybrid systems and the effective decoupling of acoustic and linguistic information in the factorized neural Transducer (FNT), we propose a novel E2E model to incorporate class-based LMs into FNT, which is referred as C-FNT. In C-FNT, the language model score of named entities can be associated with the name class instead of its surface form. The experimental results show that our proposed C-FNT presents significant error reduction in named entities without hurting performance in general word recognition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google