Positional Description for Numerical Normalization

要約

我々は、各桁のプレースホルダー値情報を統合する、桁シーケンスに合わせた位置記述スキーム (PDS) を提案します。
サブワードトークン化アルゴリズムの構造上の制限を考慮すると、言語モデルは数値タスクを処理するときに重大なテキスト正規化 (TN) の課題に直面します。
私たちのスキーマは、単純な前処理を通じてこの課題に対処し、モデルのアーキテクチャを維持しながら数値の正規化を大幅に簡素化し、問題を扱いやすくします。
これによりタスクが簡素化され、より小規模なデータセットから学習できる、よりコンパクトな実稼働対応モデルが容易になります。
さらに、私たちの調査では、PDS が言語モデルの算術処理能力を強化し、複雑な算術タスクの相対精度が 23% から 51% 向上することが明らかになりました。
我々は、PDS がニューラル モデルにおける致命的な数値正規化エラーを効果的に軽減し、ルールベースの有限状態トランスデューサー (FST) を使用せずに適度な量のトレーニング データのみを必要とすることを実証します。
PDS は Text-To-Speech と Speech Recognition の両方のテキスト処理に不可欠であり、生産上の制約の下で効果的な TN を可能にすることを実証します。

要約(オリジナル)

We present a Positional Description Scheme (PDS) tailored for digit sequences, integrating placeholder value information for each digit. Given the structural limitations of subword tokenization algorithms, language models encounter critical Text Normalization (TN) challenges when handling numerical tasks. Our schema addresses this challenge through straightforward pre-processing, preserving the model architecture while significantly simplifying number normalization, rendering the problem tractable. This simplifies the task and facilitates more compact production-ready models capable of learning from smaller datasets. Furthermore, our investigations reveal that PDS enhances the arithmetic processing capabilities of language models, resulting in a relative accuracy improvement of 23% to 51% on complex arithmetic tasks. We demonstrate that PDS effectively mitigates fatal numerical normalization errors in neural models, requiring only a modest amount of training data without rule-based Finite State Transducers (FST). We demonstrate that PDS is essential for both the Text-To-Speech and Speech Recognition text processing, enabling effective TN under production constraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google