Self-Supervised Syllable Discovery Based on Speaker-Disentangled HuBERT

要約

自己教師付き音声表現学習は、転写されていない音声から意味のある特徴を抽出するために不可欠になっています。
最近の進歩により、言語単位に関連付けられた特徴から個別のシンボルを導出できる可能性が強調され、これにより、さまざまなタスクにわたるテキストなしのトレーニングが可能になります。
特に、事前学習済み HuBERT (SD-HuBERT) の文レベルの自己蒸留は、中間の Transformer 層から抽出された潜在音声フレーム表現内に音節構造を誘導します。
SD-HuBERT では、特別な CLS トークンを使用して、セルフ アテンション レイヤーを介して音声フレームの特徴から文レベルの表現が蓄積されます。
ただし、CLS トークンに集約された情報は、言語コンテンツよりも話者のアイデンティティとより相関していることが観察されています。
これに対処するために、話者情報から音節単位を分離する、音声のみの自己教師あり微調整アプローチを提案します。
私たちの方法では、データ拡張として話者の摂動を導入し、CLS トークンがパラ言語情報を集約するのを防ぐためにフレームレベルのトレーニング目標を採用しています。
実験結果は、私たちのアプローチが、Librispeech 上のほとんどの音節セグメンテーションと音節単位品質メトリクスにおいて現在の最先端の方法を上回っていることを示しており、音声のみのモデル内での音節構成の促進におけるその有効性を強調しています。

要約(オリジナル)

Self-supervised speech representation learning has become essential for extracting meaningful features from untranscribed audio. Recent advances highlight the potential of deriving discrete symbols from the features correlated with linguistic units, which enables text-less training across diverse tasks. In particular, sentence-level Self-Distillation of the pretrained HuBERT (SD-HuBERT) induces syllabic structures within latent speech frame representations extracted from an intermediate Transformer layer. In SD-HuBERT, sentence-level representation is accumulated from speech frame features through self-attention layers using a special CLS token. However, we observe that the information aggregated in the CLS token correlates more with speaker identity than with linguistic content. To address this, we propose a speech-only self-supervised fine-tuning approach that separates syllabic units from speaker information. Our method introduces speaker perturbation as data augmentation and adopts a frame-level training objective to prevent the CLS token from aggregating paralinguistic information. Experimental results show that our approach surpasses the current state-of-the-art method in most syllable segmentation and syllabic unit quality metrics on Librispeech, underscoring its effectiveness in promoting syllabic organization within speech-only models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google