Integrating Representational Gestures into Automatically Generated Embodied Explanations and its Effects on Understanding and Interaction Quality

要約

人間の対話において、ジェスチャは、会話のリズムをマークしたり、重要な要素を強調したり、情報を補足したりするなど、さまざまな機能を果たします。
これらのジェスチャーは説明の文脈でも観察されます。
ただし、仮想エージェントによって提供される説明に対するジェスチャの影響については、まだ十分に調査されていません。
さまざまな種類のジェスチャーが、知覚されるインタラクションの品質とリスナーの理解にどのような影響を与えるかを調査するために、ユーザー調査が実施されました。
この研究は、ビートジェスチャーと象徴的ジェスチャーの両方を統合し、自動的に生成される口頭説明を強化する具体化された仮想説明者を開発することにより、説明におけるジェスチャーの効果に取り組んでいます。
私たちのモデルは、学習された音声駆動合成モジュールによって生成されたビート ジェスチャーと、手動でキャプチャされた象徴的なジェスチャーを組み合わせて、ボード ゲーム「Quarto!」に関するエージェントの言語表現をサポートします。
説明シナリオとして。
調査結果は、象徴的なジェスチャーを単独で使用する場合も、ビート ジェスチャーと組み合わせた場合も、理解の点でベースライン条件またはビートのみの条件を上回ることができないことを示しています。
それにもかかわらず、以前の研究と比較して、身体化されたエージェントは理解を大幅に高めます。

要約(オリジナル)

In human interaction, gestures serve various functions such as marking speech rhythm, highlighting key elements, and supplementing information. These gestures are also observed in explanatory contexts. However, the impact of gestures on explanations provided by virtual agents remains underexplored. A user study was carried out to investigate how different types of gestures influence perceived interaction quality and listener understanding. This study addresses the effect of gestures in explanation by developing an embodied virtual explainer integrating both beat gestures and iconic gestures to enhance its automatically generated verbal explanations. Our model combines beat gestures generated by a learned speech-driven synthesis module with manually captured iconic gestures, supporting the agent’s verbal expressions about the board game Quarto! as an explanation scenario. Findings indicate that neither the use of iconic gestures alone nor their combination with beat gestures outperforms the baseline or beat-only conditions in terms of understanding. Nonetheless, compared to prior research, the embodied agent significantly enhances understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google