Memories are One-to-Many Mapping Alleviators in Talking Face Generation

要約

話す顔の生成は、入力オーディオによって駆動される対象人物の写真のようにリアルなビデオ ポートレートを生成することを目的としています。
入力オーディオから出力ビデオへの 1 対多のマッピングの性質により (たとえば、1 つの音声コンテンツに複数の実現可能な視覚的外観がある場合があります)、以前の研究のように決定論的マッピングを学習すると、トレーニング中にあいまいさが生じ、視覚的に劣る原因になります。
結果。
この 1 対多のマッピングは、2 段階のフレームワーク (つまり、オーディオから表現へのモデルの後にニューラル レンダリング モデルが続く) によって部分的に軽減できますが、予測は十分な情報なしで生成されるため、それでも不十分です。
（例：感情、しわなど）。
この論文では、欠落している情報を、それぞれ2つの段階の意味に従う暗黙の記憶と明示的な記憶で補完するMemFaceを提案します。
より具体的には、音声から表現へのモデルで暗黙的なメモリが使用され、音声表現の共有空間で高レベルのセマンティクスをキャプチャします。一方、明示的なメモリは、ピクセルレベルの詳細を合成するのに役立つニューラル レンダリング モデルで使用されます。
私たちの実験結果は、私たちが提案した MemFace が、複数のシナリオで最先端の結果を一貫して大幅に上回っていることを示しています。

要約(オリジナル)

Talking face generation aims at generating photo-realistic video portraits of a target person driven by input audio. Due to its nature of one-to-many mapping from the input audio to the output video (e.g., one speech content may have multiple feasible visual appearances), learning a deterministic mapping like previous works brings ambiguity during training, and thus causes inferior visual results. Although this one-to-many mapping could be alleviated in part by a two-stage framework (i.e., an audio-to-expression model followed by a neural-rendering model), it is still insufficient since the prediction is produced without enough information (e.g., emotions, wrinkles, etc.). In this paper, we propose MemFace to complement the missing information with an implicit memory and an explicit memory that follow the sense of the two stages respectively. More specifically, the implicit memory is employed in the audio-to-expression model to capture high-level semantics in the audio-expression shared space, while the explicit memory is employed in the neural-rendering model to help synthesize pixel-level details. Our experimental results show that our proposed MemFace surpasses all the state-of-the-art results across multiple scenarios consistently and significantly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google