On the N-gram Approximation of Pre-trained Language Models

要約

大規模な事前トレーニング済み言語モデル (PLM) は、さまざまな自然言語理解 (NLU) タスクにわたって、特に低リソース設定で顕著なパフォーマンスを示しています。
それにもかかわらず、自動音声認識 (ASR) におけるその可能性はほとんど解明されていないままです。
この研究では、ASR における言語モデリングのための PLM の潜在的な使用法を調査します。
GPT-2 を n-gram モデルに近似するための大規模テキスト サンプリングと確率変換の適用を比較します。
さらに、ランダムサンプリングのための語彙制限された復号手法を導入し、生成されたテキストの有用性に対するドメインの難易度とデータサイズの影響を評価します。
8 つのドメイン固有のコーパスにわたる私たちの調査結果は、サンプリングベースの近似の使用を裏付けており、大規模なサンプリングされたコーパスで補間すると、テストの複雑さがベースラインのトライグラムより 15% 改善されることを示しています。
語彙を制限したデコード方法により、ドメイン固有の設定でこの改善がさらに 5% 向上します。

要約(オリジナル)

Large pre-trained language models (PLMs) have shown remarkable performance across various natural language understanding (NLU) tasks, particularly in low-resource settings. Nevertheless, their potential in Automatic Speech Recognition (ASR) remains largely unexplored. This study investigates the potential usage of PLMs for language modelling in ASR. We compare the application of large-scale text sampling and probability conversion for approximating GPT-2 into an n-gram model. Furthermore, we introduce a vocabulary-restricted decoding method for random sampling, and evaluate the effects of domain difficulty and data size on the usability of generated text. Our findings across eight domain-specific corpora support the use of sampling-based approximation and show that interpolating with a large sampled corpus improves test perplexity over a baseline trigram by 15%. Our vocabulary-restricted decoding method pushes this improvement further by 5% in domain-specific settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google