Implicit Self-supervised Language Representation for Spoken Language Diarization

要約

コード交換 (CS) シナリオでは、事前所有システムとして音声言語ダイアライゼーション (LD) を使用することが不可欠です。
さらに、暗黙的フレームワークの使用は、低リソース言語またはゼロリソース言語の処理に簡単に適応できるため、明示的フレー​​ムワークよりも推奨されます。
話者ダイアライゼーション (SD) の文献からインスピレーションを受け、LD を実行するために、(1) 固定セグメンテーション、(2) 変化点ベースのセグメンテーション、および (3) E2E に基づく 3 つのフレームワークが提案されています。
合成 TTSF-LD データセットを使用した最初の探索では、適切な分析ウィンドウ長 ($N$) で暗黙的言語表現として x ベクトルを使用すると、明示的 LD でパフォーマンスごとに達成できることがわかりました。
E2E フレームワークを使用すると、Jaccard エラー率 (JER) に関して $6.38$ という最高の暗黙的 LD パフォーマンスが達成されます。
ただし、E2E フレームワークを考慮すると、実用的な Microsoft CS (MSCS) データセットを使用すると、暗黙的 LD のパフォーマンスが 60.4 ドルに低下します。
パフォーマンスの違いは主に、MSCS データセットと TTSF-LD データセットにおける 2 次言語の単一言語セグメント期間の分布の違いによるものです。
さらに、セグメントの平滑化を回避するために、単一言語セグメントの継続時間が短いため、$N$ の小さい値を使用することが示唆されます。
同時に、$N$ が小さい場合、同じ話者が両方の言語を話しているため、x ベクトル表現は音響の類似性により必要な言語識別を捕捉できません。
したがって、この問題を解決するために、自己教師あり暗黙的言語表現がこの研究で提案されています。
X ベクトル表現と比較すると、提案された表現は $63.9\%$ の相対的な改善をもたらし、E2E フレームワークを使用して $21.8$ の JER を達成しました。

要約(オリジナル)

In a code-switched (CS) scenario, the use of spoken language diarization (LD) as a pre-possessing system is essential. Further, the use of implicit frameworks is preferable over the explicit framework, as it can be easily adapted to deal with low/zero resource languages. Inspired by speaker diarization (SD) literature, three frameworks based on (1) fixed segmentation, (2) change point-based segmentation and (3) E2E are proposed to perform LD. The initial exploration with synthetic TTSF-LD dataset shows, using x-vector as implicit language representation with appropriate analysis window length ($N$) can able to achieve at per performance with explicit LD. The best implicit LD performance of $6.38$ in terms of Jaccard error rate (JER) is achieved by using the E2E framework. However, considering the E2E framework the performance of implicit LD degrades to $60.4$ while using with practical Microsoft CS (MSCS) dataset. The difference in performance is mostly due to the distributional difference between the monolingual segment duration of secondary language in the MSCS and TTSF-LD datasets. Moreover, to avoid segment smoothing, the smaller duration of the monolingual segment suggests the use of a small value of $N$. At the same time with small $N$, the x-vector representation is unable to capture the required language discrimination due to the acoustic similarity, as the same speaker is speaking both languages. Therefore, to resolve the issue a self-supervised implicit language representation is proposed in this study. In comparison with the x-vector representation, the proposed representation provides a relative improvement of $63.9\%$ and achieved a JER of $21.8$ using the E2E framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google