Improving Spoken Language Modeling with Phoneme Classification: A Simple Fine-tuning Approach

要約

音声言語モデリングの最近の進歩により、音声から直接言語を学習することが可能であることが示されました。
テキスト レベルで動作するパイプラインを通じて音声を生成すると、通常、ニュアンス、イントネーション、非言語発声が失われます。
音声から直接モデリングすることで、より自然で表現力豊かなシステムへの道が開かれます。
一方、音声のみのシステムは、意味論的能力の点でテキストベースのシステムに追いつくために、最大 3 桁多くのデータを必要とします。
私たちは、音素分類に基づいて音声表現モデルを微調整すると、より文脈に依存しない表現が得られ、これらの単位でトレーニングされた言語モデルは、100 倍のデータでトレーニングされた言語モデルと同等の語彙理解を達成できることを示します。

要約(オリジナル)

Recent progress in Spoken Language Modeling has shown that learning language directly from speech is feasible. Generating speech through a pipeline that operates at the text level typically loses nuances, intonations, and non-verbal vocalizations. Modeling directly from speech opens up the path to more natural and expressive systems. On the other hand, speech-only systems require up to three orders of magnitude more data to catch up to their text-based counterparts in terms of their semantic abilities. We show that fine-tuning speech representation models on phoneme classification leads to more context-invariant representations, and language models trained on these units achieve comparable lexical comprehension to ones trained on hundred times more data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google