Development of the Lifelike Head Unit for a Humanoid Cybernetic Avatar `Yui’ and Its Operation Interface

要約

アバターを介したコミュニケーションでは、対面の対話者がアバターを介してオペレーターの存在や感情を感知することが重要です。
人間に似たアンドロイドは、外観や動作を通じて存在感を伝えるために開発されてきましたが、アンドロイドロボットをアバターとして使用して、操作者と対話者の両方のコミュニケーション体験を深めることを優先した研究はほとんどありません。
このギャップを解決するために、28 自由度の人間のような頭部ユニットを備え、視線、顔の感情、発話に関連した口の動きを表現できる「サイバネティック アバター “Yui”」を紹介します。
ヘッドマウント ディスプレイ (HMD) の視線追跡ユニットとユイの両目の自由度により、オペレーターはアバターの視線を自然に制御できます。
さらに、ユイの耳に埋め込まれたマイクにより、オペレーターは周囲の音を立体的に聞くことができ、聴覚情報だけで通話の方向を識別することができます。
HMD の顔追跡ユニットは、アバターの顔の動きをオペレータの顔の動きと同期させます。
この没入型インターフェイスは、ユイの人間のような外観と相まって、リアルタイムの感情伝達とコミュニケーションを可能にし、双方の臨場感を高めます。
私たちの実験では、ユイの表情能力を実証し、遠隔操作試験を通じてシステムの有効性を検証し、アバター技術の潜在的な進歩を示唆しています。

要約(オリジナル)

In the context of avatar-mediated communication, it is crucial for the face-to-face interlocutor to sense the operator’s presence and emotions via the avatar. Although androids resembling humans have been developed to convey presence through appearance and movement, few studies have prioritized deepening the communication experience for both operator and interlocutor using android robot as an avatar. Addressing this gap, we introduce the “Cybernetic Avatar `Yui’,” featuring a human-like head unit with 28 degrees of freedom, capable of expressing gaze, facial emotions, and speech-related mouth movements. Through an eye-tracking unit in a Head-Mounted Display (HMD) and degrees of freedom on both eyes of Yui, operators can control the avatar’s gaze naturally. Additionally, microphones embedded in Yui’s ears allow operators to hear surrounding sounds in three dimensions, enabling them to discern the direction of calls based solely on auditory information. An HMD’s face-tracking unit synchronizes the avatar’s facial movements with those of the operator. This immersive interface, coupled with Yui’s human-like appearance, enables real-time emotion transmission and communication, enhancing the sense of presence for both parties. Our experiments demonstrate Yui’s facial expression capabilities, and validate the system’s efficacy through teleoperation trials, suggesting potential advancements in avatar technology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google