Driving Animatronic Robot Facial Expression From Speech

要約

アニマトロニクス ロボットは、本物のような表情を通じて人間とロボットの自然な相互作用を可能にすることを目指しています。
ただし、顔の生体力学と応答性の高い動作合成が複雑なため、現実的な音声同期ロボットの表情を生成することは困難です。
この論文では、音声からアニマトロニクス ロボットの表情を駆動するための、原則に基づいたスキニング中心のアプローチを紹介します。
提案されたアプローチは、コア表現としてリニア ブレンド スキニング (LBS) を採用し、実施形態の設計とモーション合成において緊密に統合されたイノベーションを導きます。
LBS は作動トポロジーを情報提供し、人間の表情のリターゲットを可能にし、音声駆動の顔の動きの生成を可能にします。
提案されたアプローチは、アニマトロニクスの顔の音声から非常に現実的なリアルタイムの表情を生成することができ、自然なインタラクションのために人間の微妙な表情を再現するロボットの能力を大幅に向上させます。

要約(オリジナル)

Animatronic robots aim to enable natural human-robot interaction through lifelike facial expressions. However, generating realistic, speech-synchronized robot expressions is challenging due to the complexities of facial biomechanics and responsive motion synthesis. This paper presents a principled, skinning-centric approach to drive animatronic robot facial expressions from speech. The proposed approach employs linear blend skinning (LBS) as the core representation to guide tightly integrated innovations in embodiment design and motion synthesis. LBS informs the actuation topology, enables human expression retargeting, and allows speech-driven facial motion generation. The proposed approach is capable of generating highly realistic, real-time facial expressions from speech on an animatronic face, significantly advancing robots’ ability to replicate nuanced human expressions for natural interaction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google