What Do Self-Supervised Speech and Speaker Models Learn? New Findings From a Cross Model Layer-Wise Analysis

要約

自己教師あり学習 (SSL) は、意味のある音声表現を学習するためにますます注目を集めています。
WavLM などの音声 SSL モデルは、マスクされた予測トレーニングを使用して汎用表現をエンコードします。
対照的に、DINO ベースのモデルに代表される話者 SSL モデルは、主に話者の表現を目的とした発話レベルのトレーニング目標を採用しています。
これらのモデルが情報をどのように表現するかを理解することは、モデルの効率と有効性を向上させるために不可欠です。
音声 SSL のさまざまな分析とは異なり、話者 SSL がどのような情報を取得するか、またその表現が音声 SSL や他の完全に監視された話者モデルとどのように異なるかについての調査は限られています。
この文書では、これらの基本的な質問に対処します。
SUPERB 評価プローブ タスクを音声および話者の SSL モデルに適用することにより、さまざまな音声特性をキャプチャする能力を調査します。
また、音声の表現方法の違いを特定するために、各タスクでどのレイヤーが主に使用されているかを調べます。
さらに、直接比較を実行して、モデル内およびモデル間のレイヤー間の類似性を測定します。
私たちの分析により、1) コンテンツ情報を表現する能力は強化された話者表現とは多少無関係である、2) 音声の特定の層の SSL モデルは言語情報の取得に部分的に特化している、3) 話者 SSL モデルは言語情報を無視する傾向があるが、
より洗練されたスピーカー表現。

要約(オリジナル)

Self-supervised learning (SSL) has attracted increased attention for learning meaningful speech representations. Speech SSL models, such as WavLM, employ masked prediction training to encode general-purpose representations. In contrast, speaker SSL models, exemplified by DINO-based models, adopt utterance-level training objectives primarily for speaker representation. Understanding how these models represent information is essential for refining model efficiency and effectiveness. Unlike the various analyses of speech SSL, there has been limited investigation into what information speaker SSL captures and how its representation differs from speech SSL or other fully-supervised speaker models. This paper addresses these fundamental questions. We explore the capacity to capture various speech properties by applying SUPERB evaluation probing tasks to speech and speaker SSL models. We also examine which layers are predominantly utilized for each task to identify differences in how speech is represented. Furthermore, we conduct direct comparisons to measure the similarities between layers within and across models. Our analysis unveils that 1) the capacity to represent content information is somewhat unrelated to enhanced speaker representation, 2) specific layers of speech SSL models would be partly specialized in capturing linguistic information, and 3) speaker SSL models tend to disregard linguistic information but exhibit more sophisticated speaker representation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google