A Chat About Boring Problems: Studying GPT-based text normalization

要約

テキストの正規化 (テキストの書き言葉から話し言葉への変換) は、伝統的に言語モデルの形式が正しくないタスクであると考えられてきました。
この研究では、私たちはそうではないと主張します。
数ショットのシナリオにおけるテキスト正規化に対する大言語モデル (LLM) の能力を経験的に示します。
自己一貫性の推論と言語情報に基づいたプロンプト エンジニアリングを組み合わせることで、LLM ベースのテキスト正規化が、上位の正規化システムよりも約 40\% 低いエラー率を達成できることがわかりました。
さらに、エラー分析の結果、テキスト正規化タスクの従来の設計における重要な制限に気づきました。
テキスト正規化エラーの新しい分類を作成し、それを GPT-3.5-Turbo および GPT-4.0 の結果に適用します。
この新しいフレームワークを通じて、GPT ベースの TN の長所と短所を特定し、将来の研究の機会を開くことができます。

要約(オリジナル)

Text normalization – the conversion of text from written to spoken form – is traditionally assumed to be an ill-formed task for language models. In this work, we argue otherwise. We empirically show the capacity of Large-Language Models (LLM) for text normalization in few-shot scenarios. Combining self-consistency reasoning with linguistic-informed prompt engineering, we find LLM based text normalization to achieve error rates around 40\% lower than top normalization systems. Further, upon error analysis, we note key limitations in the conventional design of text normalization tasks. We create a new taxonomy of text normalization errors and apply it to results from GPT-3.5-Turbo and GPT-4.0. Through this new framework, we can identify strengths and weaknesses of GPT-based TN, opening opportunities for future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google