VR Facial Animation for Immersive Telepresence Avatars

要約

タイトル：没入型テレプレゼンスアバターのためのVRフェイシャルアニメーション

要約：
– VRフェイシャルアニメーションは、VRヘッドセットを装着している場合でも、顔のクリアなビューが必要なアプリケーションで必要です。
– この研究では、ロボットアバターシステムを制御するオペレーターの顔をアニメーション化することを目的としています。
– 速やかに登録ステップを実行し、VRヘッドセットを着用していないオペレーターからソース画像のシーケンスをキャプチャし、オペレーター固有の外観情報を含めます。
– 推論中に、口カメラと2つの目カメラから抽出したオペレーターキーポイント情報を使用して、ターゲット表情とヘッドポーズを推定し、ソース静止画像の外観にマップします。
– 口表情の精度を向上させるために、キャプチャされたシーケンスから補助表現フレームを動的に選択します。
– さらに、1分未満でトレーニングできるアイトラッキングパイプラインを示し、完全な顔だけを含むデータセットが与えられた場合に、全体のパイプラインを効率的にトレーニングする方法を紹介します。
– 実験的な結果を示し、ANA Avatar XPRIZEの準決勝でのパフォーマンスについて議論します。

要約(オリジナル)

VR Facial Animation is necessary in applications requiring clear view of the face, even though a VR headset is worn. In our case, we aim to animate the face of an operator who is controlling our robotic avatar system. We propose a real-time capable pipeline with very fast adaptation for specific operators. In a quick enrollment step, we capture a sequence of source images from the operator without the VR headset which contain all the important operator-specific appearance information. During inference, we then use the operator keypoint information extracted from a mouth camera and two eye cameras to estimate the target expression and head pose, to which we map the appearance of a source still image. In order to enhance the mouth expression accuracy, we dynamically select an auxiliary expression frame from the captured sequence. This selection is done by learning to transform the current mouth keypoints into the source camera space, where the alignment can be determined accurately. We, furthermore, demonstrate an eye tracking pipeline that can be trained in less than a minute, a time efficient way to train the whole pipeline given a dataset that includes only complete faces, show exemplary results generated by our method, and discuss performance at the ANA Avatar XPRIZE semifinals.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI