Cross-modal Face- and Voice-style Transfer

要約

画像から画像への変換と音声変換により、画像内のポーズや音声内の言語コンテンツなどのセマンティクスの一部をそれぞれ維持しながら、新しい顔画像と音声を生成できます。
多くのアプリケーションでコンテンツ作成プロセスを支援できます。
ただし、各モダリティ内での変換に限定されるため、生成された顔と声の印象を一致させることは未解決の問題です。
XFaVoT と呼ばれるクロスモーダル スタイル転送フレームワークを提案します。このフレームワークは、画像翻訳と、音声または画像ガイダンスによる音声変換タスクの 4 つのタスクを共同で学習し、「与えられた声に一致する顔」と「与えられた顔に一致する声」の生成を可能にします。
‘、および単一のフレームワークを使用したモダリティ内翻訳タスク。
複数のデータセットでの実験結果は、XFaVoT が画像と音声のクロスモーダル スタイルの変換を実現し、品質、多様性、および顔と音声の対応に関してベースラインを上回ることを示しています。

要約(オリジナル)

Image-to-image translation and voice conversion enable the generation of a new facial image and voice while maintaining some of the semantics such as a pose in an image and linguistic content in audio, respectively. They can aid in the content-creation process in many applications. However, as they are limited to the conversion within each modality, matching the impression of the generated face and voice remains an open question. We propose a cross-modal style transfer framework called XFaVoT that jointly learns four tasks: image translation and voice conversion tasks with audio or image guidance, which enables the generation of “face that matches given voice’ and “voice that matches given face’, and intra-modality translation tasks with a single framework. Experimental results on multiple datasets show that XFaVoT achieves cross-modal style translation of image and voice, outperforming baselines in terms of quality, diversity, and face-voice correspondence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google