Neural Text to Articulate Talk: Deep Text to Audiovisual Speech Synthesis achieving both Auditory and Photo-realism

要約

逐次データのディープラーニングの最近の進歩により、人間が話すリアルなビデオを生成する高速で強力なモデルが誕生しました。
最先端の話し顔生成は、主に口パクに焦点を当てており、オーディオ クリップを条件としています。
ただし、音声ではなくテキストの書き起こしから人間の話し声を合成できることは、多くのアプリケーションにとって特に有益であり、大規模な言語モデルにおける最近の進歩を受けて、ますます注目されることが予想されます。
そのために、ほとんどのメソッドは、テキスト読み上げモジュールとその後にオーディオ駆動の話し顔ジェネレーターのカスケード 2 段階アーキテクチャを実装しますが、これは、発話中に発生するオーディオ ストリームとビジュアル ストリーム間の非常に複雑な相互作用を無視しています。
この論文では、私たちの知る限り、トランスフォーマーを使用し、カスケード アプローチに従わない最初のテキスト駆動型オーディオビジュアル音声合成装置を提案します。
NEUral Text to ARticulate Talk (NEUTART) と呼ばれる私たちの方法は、共同視聴覚特徴空間、音声情報に基づいた 3D 顔の再構築、および視覚監視のための読唇損失を使用する会話顔生成器です。
提案されたモデルは、人間のようなアーティキュレーションと適切に同期されたオーディオビジュアル ストリームを備えた、フォトリアリスティックな会話顔ビデオを生成します。
視聴覚データセットと実際のビデオに関する実験により、客観的な指標と人間による評価の両方の観点から、最先端の生成品質が明らかになりました。

要約(オリジナル)

Recent advances in deep learning for sequential data have given rise to fast and powerful models that produce realistic videos of talking humans. The state of the art in talking face generation focuses mainly on lip-syncing, being conditioned on audio clips. However, having the ability to synthesize talking humans from text transcriptions rather than audio is particularly beneficial for many applications and is expected to receive more and more attention, following the recent breakthroughs in large language models. For that, most methods implement a cascaded 2-stage architecture of a text-to-speech module followed by an audio-driven talking face generator, but this ignores the highly complex interplay between audio and visual streams that occurs during speaking. In this paper, we propose the first, to the best of our knowledge, text-driven audiovisual speech synthesizer that uses Transformers and does not follow a cascaded approach. Our method, which we call NEUral Text to ARticulate Talk (NEUTART), is a talking face generator that uses a joint audiovisual feature space, as well as speech-informed 3D facial reconstructions and a lip-reading loss for visual supervision. The proposed model produces photorealistic talking face videos with human-like articulation and well-synced audiovisual streams. Our experiments on audiovisual datasets as well as in-the-wild videos reveal state-of-the-art generation quality both in terms of objective metrics and human evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google