SD-HuBERT: Sentence-Level Self-Distillation Induces Syllabic Organization in HuBERT

要約

スピーチの自己監視学習（SSL）におけるデータ駆動型ユニットの発見は、音声言語処理の新しい時代に着手しました。
しかし、発見されたユニットはしばしば音声空間に残り、音素を超えたユニットはほとんど露出していません。
ここでは、音声レベルの表現を学習することに音節組織が現れることを実証します。
特に、文章全体を要約するアグリゲータートークンで、事前に守られたヒューバートを微調整するという「自己抵抗」の目的を採用します。
監督がなければ、結果のモデルは音声に明確な境界を引き出し、フレーム全体の表現は顕著な音節構造を示します。
この緊急構造は、主にグラウンドトゥルースの音節に対応していることを実証します。
さらに、スピーチの文レベルの表現を評価するための新しいベンチマークタスク、音声音声ABXを提案します。
以前のモデルと比較すると、我々のモデルは、教師のない音節の発見と学習文レベルの表現の両方で優れています。
一緒に、ヒューバートの自己抵抗が、外部ラベルやモダリティに依存せずに音節組織を生み出し、話し言葉モデリングのための新しいデータ駆動型ユニットを潜在的に提供することを実証します。

要約(オリジナル)

Data-driven unit discovery in self-supervised learning (SSL) of speech has embarked on a new era of spoken language processing. Yet, the discovered units often remain in phonetic space and the units beyond phonemes are largely underexplored. Here, we demonstrate that a syllabic organization emerges in learning sentence-level representation of speech. In particular, we adopt ‘self-distillation’ objective to fine-tune the pretrained HuBERT with an aggregator token that summarizes the entire sentence. Without any supervision, the resulting model draws definite boundaries in speech, and the representations across frames exhibit salient syllabic structures. We demonstrate that this emergent structure largely corresponds to the ground truth syllables. Furthermore, we propose a new benchmark task, Spoken Speech ABX, for evaluating sentence-level representation of speech. When compared to previous models, our model outperforms in both unsupervised syllable discovery and learning sentence-level representation. Together, we demonstrate that the self-distillation of HuBERT gives rise to syllabic organization without relying on external labels or modalities, and potentially provides novel data-driven units for spoken language modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google