EVOLVE: Emotion and Visual Output Learning via LLM Evaluation

要約

人間がソーシャルロボットを受け入れるかどうかは、共感と理解による影響を大きく受けます。
そのため、ユーザーからのさまざまな入力データに対して正確かつ柔軟な対応が求められます。
このようなシステムは、より多くの状態や応答タイプが含まれるほど複雑になる可能性がありますが、人間とロボットの対話に対する大規模な言語モデルの適用に関する新しい研究により、より合理化された認識および反応パイプラインが可能になりました。
LLM が選​​択したアクションと感情表現は、表示される共感の現実感を強化し、ロボットとユーザー間のコミュニケーションを改善するのに役立ちます。
これは、口頭または書面による応答で共感を描写するだけでなく、作動する現実世界のシナリオで LLM を使用できる可能性を示しています。
この研究では、意味と共感の伝達を強化する感情的に整合した動きと色のパターンの選択とともに、視覚言語モデルの新たな進歩を活用した、よりオープンエンドの感情反応の選択を検討することにより、ソーシャルロボットのLLM主導の非言語行動の研究を拡張します。

要約(オリジナル)

Human acceptance of social robots is greatly effected by empathy and perceived understanding. This necessitates accurate and flexible responses to various input data from the user. While systems such as this can become increasingly complex as more states or response types are included, new research in the application of large language models towards human-robot interaction has allowed for more streamlined perception and reaction pipelines. LLM-selected actions and emotional expressions can help reinforce the realism of displayed empathy and allow for improved communication between the robot and user. Beyond portraying empathy in spoken or written responses, this shows the possibilities of using LLMs in actuated, real world scenarios. In this work we extend research in LLM-driven nonverbal behavior for social robots by considering more open-ended emotional response selection leveraging new advances in vision-language models, along with emotionally aligned motion and color pattern selections that strengthen conveyance of meaning and empathy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google