Prompt Tuning of Deep Neural Networks for Speaker-adaptive Visual Speech Recognition

要約

Visual Speech Recognition (VSR) は、唇の動きのみに基づいて音声を推論してテキストに変換することを目的としています。
視覚情報に焦点を当てて音声をモデル化するため、そのパフォーマンスは本質的に個人の唇の外観や動きに敏感であり、そのため、VSR モデルが目に見えない話者に適用されるとパフォーマンスの低下を示します。
この論文では、目に見えない話者に対する VSR モデルのパフォーマンス低下を改善するために、話者適応 VSR のためのディープ ニューラル ネットワーク (DNN) の迅速な調整方法を提案します。
具体的には、自然言語処理 (NLP) の最近の進歩を動機として、事前トレーニングされたモデルのパラメーターを変更するのではなく、ターゲット話者の適応データに基づいてプロンプトを微調整します。
主に Transformer バリアント アーキテクチャに限定されていた以前のプロンプト チューニング方法とは異なり、一般的に CNN と Transformer で構成される VSR モデルに適用できる、さまざまな種類のプロンプト、加算、パディング、および連結形式のプロンプトを検討します。
提案されたプロンプトチューニングを使用すると、たとえ事前トレーニングされたモデルが
すでに多くのスピーカーバリエーションを開発済みです。
さらに、さまざまなタイプのプロンプトのパフォーマンスとパラメーターを分析することで、微調整方法よりもプロンプト調整がどのような場合に好まれるかを調査します。
提案手法の有効性は、単語レベルと文レベルの両方の VSR データベース、LRW-ID および GRID で評価されます。

要約(オリジナル)

Visual Speech Recognition (VSR) aims to infer speech into text depending on lip movements alone. As it focuses on visual information to model the speech, its performance is inherently sensitive to personal lip appearances and movements, and this makes the VSR models show degraded performance when they are applied to unseen speakers. In this paper, to remedy the performance degradation of the VSR model on unseen speakers, we propose prompt tuning methods of Deep Neural Networks (DNNs) for speaker-adaptive VSR. Specifically, motivated by recent advances in Natural Language Processing (NLP), we finetune prompts on adaptation data of target speakers instead of modifying the pre-trained model parameters. Different from the previous prompt tuning methods mainly limited to Transformer variant architecture, we explore different types of prompts, the addition, the padding, and the concatenation form prompts that can be applied to the VSR model which is composed of CNN and Transformer in general. With the proposed prompt tuning, we show that the performance of the pre-trained VSR model on unseen speakers can be largely improved by using a small amount of adaptation data (e.g., less than 5 minutes), even if the pre-trained model is already developed with large speaker variations. Moreover, by analyzing the performance and parameters of different types of prompts, we investigate when the prompt tuning is preferred over the finetuning methods. The effectiveness of the proposed method is evaluated on both word- and sentence-level VSR databases, LRW-ID and GRID.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google