On the Audio-visual Synchronization for Lip-to-Speech Synthesis

要約

ほとんどのリップ トゥ スピーチ (LTS) 合成モデルは、データセット内のオーディオとビデオのペアが完全に同期されているという前提でトレーニングおよび評価されます。
この作業では、GRID、TCD-TIMIT、Lip2Wav などの一般的に使用されるオーディオビジュアル データセットにデータの非同期性の問題がある可能性があることを示します。
このようなデータセットを使用して音声合成をトレーニングすると、モデルの非同期性の問題がさらに発生する可能性があります。つまり、生成された音声と入力ビデオが同期していません。
これらの非同期の問題に対処するために、データの非同期を修正し、モデルの非同期にペナルティを課す自動同期メカニズム (ASM) を備えた同期リップツースピーチ (SLTS) モデルを提案します。
さらに、非同期テスト データを使用した LTS の一般的に採用されている評価メトリックの制限を示し、より良い評価のために時間アライメントに敏感なメトリックの前にオーディオ アライメント フロントエンドを導入します。
同期トレーニングの利点を示すために、従来の時間調整されたメトリックに対する最先端のアプローチと私たちの方法を比較します。

要約(オリジナル)

Most lip-to-speech (LTS) synthesis models are trained and evaluated under the assumption that the audio-video pairs in the dataset are perfectly synchronized. In this work, we show that the commonly used audio-visual datasets, such as GRID, TCD-TIMIT, and Lip2Wav, can have data asynchrony issues. Training lip-to-speech with such datasets may further cause the model asynchrony issue — that is, the generated speech and the input video are out of sync. To address these asynchrony issues, we propose a synchronized lip-to-speech (SLTS) model with an automatic synchronization mechanism (ASM) to correct data asynchrony and penalize model asynchrony. We further demonstrate the limitation of the commonly adopted evaluation metrics for LTS with asynchronous test data and introduce an audio alignment frontend before the metrics sensitive to time alignment for better evaluation. We compare our method with state-of-the-art approaches on conventional and time-aligned metrics to show the benefits of synchronization training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google