Neural Sign Reenactor: Deep Photorealistic Sign Language Retargeting

要約

この論文では、ソース ビデオ内の 1 人の人物の顔の表情、頭のポーズ、体の動きをターゲット ビデオ内の別の人物に転送するためのニューラル レンダリング パイプラインを紹介します。
私たちは手話ビデオという困難なケースに私たちの方法を適用します。手話使用者のソースビデオが与えられると、実行されたマニュアル (例: 手の形、手のひらの向き、動き、位置) と非マニュアル (例: 目の動き) を忠実に転送できます。
視線、顔の表情、口のパターン、頭、体の動きなど）をフォトリアルな方法でターゲットビデオにサインします。
私たちの方法は、手話の匿名化、手話の生成（合成モジュール）、さらには他の種類の全身活動（ダンス、演技、運動など）の再現にも使用できます。
私たちは詳細な定性的および定量的な評価と比較を実施し、得られる特に有望かつ現実的な結果と、既存のアプローチに対する私たちの方法の利点を実証します。

要約(オリジナル)

In this paper, we introduce a neural rendering pipeline for transferring the facial expressions, head pose, and body movements of one person in a source video to another in a target video. We apply our method to the challenging case of Sign Language videos: given a source video of a sign language user, we can faithfully transfer the performed manual (e.g., handshape, palm orientation, movement, location) and non-manual (e.g., eye gaze, facial expressions, mouth patterns, head, and body movements) signs to a target video in a photo-realistic manner. Our method can be used for Sign Language Anonymization, Sign Language Production (synthesis module), as well as for reenacting other types of full body activities (dancing, acting performance, exercising, etc.). We conduct detailed qualitative and quantitative evaluations and comparisons, which demonstrate the particularly promising and realistic results that we obtain and the advantages of our method over existing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google