Cross-modal Audio-visual Co-learning for Text-independent Speaker Verification

要約

視覚的な発話 (つまり、唇の動き) は、音声生成における同時発生と同期により、聴覚的な発話と非常に関連しています。
この論文では、この相関関係を調査し、クロスモーダル音声共同学習パラダイムを提案します。
私たちのクロスモーダル共同学習方法の主な動機は、別のモダリティからの知識を活用することによって支援される 1 つのモダリティをモデル化することです。
具体的には、2 つのクロス モーダル ブースターは、モダリティ変換された相関関係を学習する視聴覚疑似シャム構造に基づいて導入されます。
各ブースター内では、モダリティの調整と強化された機能生成のために、max-feature-map が埋め込まれた Transformer バリアントが提案されています。
ネットワークは、ゼロから、および事前トレーニング済みモデルの両方で共同学習されます。
LRSLip3、GridLip、LomGridLip、および VoxLip データセットの実験結果は、提案された方法が、個別にトレーニングされたオーディオのみ/ビジュアルのみおよびベースライン フュージョン システムに対して、それぞれ 60% および 20% の平均相対パフォーマンス向上を達成することを示しています。

要約(オリジナル)

Visual speech (i.e., lip motion) is highly related to auditory speech due to the co-occurrence and synchronization in speech production. This paper investigates this correlation and proposes a cross-modal speech co-learning paradigm. The primary motivation of our cross-modal co-learning method is modeling one modality aided by exploiting knowledge from another modality. Specifically, two cross-modal boosters are introduced based on an audio-visual pseudo-siamese structure to learn the modality-transformed correlation. Inside each booster, a max-feature-map embedded Transformer variant is proposed for modality alignment and enhanced feature generation. The network is co-learned both from scratch and with pretrained models. Experimental results on the LRSLip3, GridLip, LomGridLip, and VoxLip datasets demonstrate that our proposed method achieves 60% and 20% average relative performance improvement over independently trained audio-only/visual-only and baseline fusion systems, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google