Boosting Punctuation Restoration with Data Generation and Reinforcement Learning

要約

句読点の復元は、生成された ASR テキストの構文構造を復元して読みやすさを向上させることを目的とした自動音声認識 (ASR) における重要なタスクです。
句読点のあるテキストは書かれた文書に豊富にありますが、書かれた句読点のあるテキストと ASR テキストの間に不一致があるため、ASR テキストの句読点復元システムのトレーニングにおける書かれたテキストの有用性が制限されます。
この論文では、トピック内で書かれたテキストと、このギャップを埋めるための大規模な事前トレーニング済み生成言語モデルの最近の進歩を利用する強化学習方法を提案します。
実験では、私たちの方法が句読点復元用の 2 つのベンチマーク データセットの ASR テスト セットで最先端のパフォーマンスを達成することが示されています。

要約(オリジナル)

Punctuation restoration is an important task in automatic speech recognition (ASR) which aim to restore the syntactic structure of generated ASR texts to improve readability. While punctuated texts are abundant from written documents, the discrepancy between written punctuated texts and ASR texts limits the usability of written texts in training punctuation restoration systems for ASR texts. This paper proposes a reinforcement learning method to exploit in-topic written texts and recent advances in large pre-trained generative language models to bridge this gap. The experiments show that our method achieves state-of-the-art performance on the ASR test set on two benchmark datasets for punctuation restoration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google