Electromyography-Informed Facial Expression Reconstruction for Physiological-Based Synthesis and Analysis

要約

筋肉の活動と結果として生じる表情の関係は、心理学、医学、娯楽など、さまざまな分野で重要です。
表面筋電図（SEMG）を介した顔の模倣と筋肉活動の同期記録は、これらの複雑なダイナミクスへのユニークな窓を提供します。
残念ながら、顔面分析のための既存の方法は電極の閉塞を処理することができず、効果がありません。
同じ人の閉塞のない参照画像でさえ、発現強度と実行の変動は比類のないものです。
私たちの筋電図に形成された表情再構成（EIFER）アプローチは、SEMG閉塞の下で敵対的な方法で忠実に顔を回復する新しい方法です。
3Dの形態モデル（3DMM）とニューラルの対応のない画像間翻訳を参照記録を介して組み合わせることにより、顔のジオメトリと視覚的な外観（肌のテクスチャー、照明、電極など）を切り離します。
次に、eiferは、3DMM発現パラメーターと筋肉活動の間の双方向マッピングを学習し、2つのドメイン間の対応を確立します。
同期されたSEMG録音と顔の模倣のデータセットでの実験を通じてアプローチの有効性を検証し、忠実な幾何学と外観の再構築を実証します。
さらに、筋肉の活動に基づいて表現を合成し、観察された表現が動的筋肉の活動をどのように予測できるかを合成します。
その結果、Eiferは、顔の筋電図の新しいパラダイムを導入します。これは、他の形態のマルチモーダル顔記録に拡張できます。

要約(オリジナル)

The relationship between muscle activity and resulting facial expressions is crucial for various fields, including psychology, medicine, and entertainment. The synchronous recording of facial mimicry and muscular activity via surface electromyography (sEMG) provides a unique window into these complex dynamics. Unfortunately, existing methods for facial analysis cannot handle electrode occlusion, rendering them ineffective. Even with occlusion-free reference images of the same person, variations in expression intensity and execution are unmatchable. Our electromyography-informed facial expression reconstruction (EIFER) approach is a novel method to restore faces under sEMG occlusion faithfully in an adversarial manner. We decouple facial geometry and visual appearance (e.g., skin texture, lighting, electrodes) by combining a 3D Morphable Model (3DMM) with neural unpaired image-to-image translation via reference recordings. Then, EIFER learns a bidirectional mapping between 3DMM expression parameters and muscle activity, establishing correspondence between the two domains. We validate the effectiveness of our approach through experiments on a dataset of synchronized sEMG recordings and facial mimicry, demonstrating faithful geometry and appearance reconstruction. Further, we synthesize expressions based on muscle activity and how observed expressions can predict dynamic muscle activity. Consequently, EIFER introduces a new paradigm for facial electromyography, which could be extended to other forms of multi-modal face recordings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google