Speaker-Adapted End-to-End Visual Speech Recognition for Continuous Spanish

要約

さまざまな研究により、音声認識プロセス全体を通じて視覚的な手がかりが重要であることが示されています。
実際、視聴覚アプローチの発展は、音声技術の分野の進歩につながりました。
しかし、最近注目すべき成果が達成されたものの、視覚的音声認識は未解決の研究課題のままです。
これは、聴覚を不要にすることで、視覚的な曖昧さや沈黙のモデリングの複雑さなどの課題に直面しなければならない作業です。
それにもかかわらず、これらの課題の一部は、話者に依存した観点から問題にアプローチすると軽減できます。
したがって、この論文では、スペイン語の LIP-RTVE データベースを使用して、特定の人物に特化したエンドツーエンド システムの推定が音声認識の品質にどのように影響するかを研究します。
まず、微調整技術に基づいたさまざまな適応戦略が提案されました。
次に、事前トレーニングされた CTC/Attendance アーキテクチャが、実験全体を通じてベースラインとして使用されました。
私たちの調査結果は、最初に VSR システムをタスク ドメインに適応させる 2 段階の微調整プロセスにより、スピーカーの適応に対処する際に大幅な改善がもたらされることを示しました。
さらに、限られた量のデータしか入手できない場合でも、現在の最先端技術に匹敵する結果が得られました。

要約(オリジナル)

Different studies have shown the importance of visual cues throughout the speech perception process. In fact, the development of audiovisual approaches has led to advances in the field of speech technologies. However, although noticeable results have recently been achieved, visual speech recognition remains an open research problem. It is a task in which, by dispensing with the auditory sense, challenges such as visual ambiguities and the complexity of modeling silence must be faced. Nonetheless, some of these challenges can be alleviated when the problem is approached from a speaker-dependent perspective. Thus, this paper studies, using the Spanish LIP-RTVE database, how the estimation of specialized end-to-end systems for a specific person could affect the quality of speech recognition. First, different adaptation strategies based on the fine-tuning technique were proposed. Then, a pre-trained CTC/Attention architecture was used as a baseline throughout our experiments. Our findings showed that a two-step fine-tuning process, where the VSR system is first adapted to the task domain, provided significant improvements when the speaker adaptation was addressed. Furthermore, results comparable to the current state of the art were reached even when only a limited amount of data was available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google