Lip Reading for Low-resource Languages by Learning and Combining General Speech Knowledge and Language-specific Knowledge

要約

この論文は、これまでの文献では十分に取り上げられていなかった、特に低リソース言語向けの新しい読唇フレームワークを提案します。
低リソース言語には、唇の動きと言語をモデル化するのに十分な能力を持つモデルをトレーニングするのに十分なビデオとテキストのペアのデータがないため、低リソース言語の読唇モデルを開発することは困難であると考えられています。
この課題を軽減するために、音声単位の予測を通じて高リソース言語から一般的な音声知識、つまり唇の動きをモデル化する能力を学習しようとします。
異なる言語が部分的に共通の音素を共有することが知られているため、ある言語から学習した一般的な音声知識を他の言語にも拡張できます。
次に、言語固有のメモリ拡張デコーダ (LMDecoder) を提案することで、言語固有の知識、言語をモデル化する能力を学習しようとします。
LDecoder は、言語固有のオーディオ機能をメモリ バンクに保存し、ビデオとテキストのペアのデータよりも簡単にアクセスできるオーディオとテキストのペアのデータでトレーニングできます。
したがって、LMDecoder を使用すると、学習した豊富な言語知識を利用して、入力音声単位を言語固有の音声特徴に変換し、テキストに翻訳できます。
最後に、一般的な音声知識と言語固有の知識を組み合わせることで、リソースが少ない言語でも読唇モデルを効率的に開発できます。
英語、スペイン語、フランス語、イタリア語、ポルトガル語の 5 つの言語を使用した広範な実験を通じて、提案手法の有効性が評価されます。

要約(オリジナル)

This paper proposes a novel lip reading framework, especially for low-resource languages, which has not been well addressed in the previous literature. Since low-resource languages do not have enough video-text paired data to train the model to have sufficient power to model lip movements and language, it is regarded as challenging to develop lip reading models for low-resource languages. In order to mitigate the challenge, we try to learn general speech knowledge, the ability to model lip movements, from a high-resource language through the prediction of speech units. It is known that different languages partially share common phonemes, thus general speech knowledge learned from one language can be extended to other languages. Then, we try to learn language-specific knowledge, the ability to model language, by proposing Language-specific Memory-augmented Decoder (LMDecoder). LMDecoder saves language-specific audio features into memory banks and can be trained on audio-text paired data which is more easily accessible than video-text paired data. Therefore, with LMDecoder, we can transform the input speech units into language-specific audio features and translate them into texts by utilizing the learned rich language knowledge. Finally, by combining general speech knowledge and language-specific knowledge, we can efficiently develop lip reading models even for low-resource languages. Through extensive experiments using five languages, English, Spanish, French, Italian, and Portuguese, the effectiveness of the proposed method is evaluated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google