Toward a Dialogue System Using a Large Language Model to Recognize User Emotions with a Camera

要約

Chatgpt \ Copyright {}およびその他のLLMSのパフォーマンスは大幅に改善されており、オンライン環境では、Webページのチャットボット、音声インタラクションを使用したコールセンター操作、対話など、さまざまな状況でますます使用される可能性が高まっています。
エージェントを使用した関数。
オフライン環境では、ロボットにマウントされたLLMSの形でタブレットターミナルとダイアログシステムを使用して、人工知能エージェント（AIエージェント）によるガイダンスなど、マルチモーダルダイアログ機能も実現されています。
このマルチモーダルの対話では、AIとユーザーの間の相互感情認識が重要になります。
これまでのところ、AIエージェントの部分で感情を表現する方法や、ユーザーの発話のテキスト情報または音声情報を使用してそれらを認識する方法がありましたが、AIエージェントがユーザーの表情から感情を認識する方法は研究されていません。
この研究では、LLMベースのAIエージェントがカメラとの対話でユーザーをキャプチャし、表情からの感情を認識し、そのような感情情報をプロンプトに追加することにより、ユーザーと感情的な状態に応じてユーザーと対話できるかどうかを調べました。
結果は、AIエージェントが、幸せや怒りなどの比較的高いスコアを持つ感情状態の感情状態に応じて会話をすることができることを確認しました。

要約(オリジナル)

The performance of ChatGPT\copyright{} and other LLMs has improved tremendously, and in online environments, they are increasingly likely to be used in a wide variety of situations, such as ChatBot on web pages, call center operations using voice interaction, and dialogue functions using agents. In the offline environment, multimodal dialogue functions are also being realized, such as guidance by Artificial Intelligence agents (AI agents) using tablet terminals and dialogue systems in the form of LLMs mounted on robots. In this multimodal dialogue, mutual emotion recognition between the AI and the user will become important. So far, there have been methods for expressing emotions on the part of the AI agent or for recognizing them using textual or voice information of the user’s utterances, but methods for AI agents to recognize emotions from the user’s facial expressions have not been studied. In this study, we examined whether or not LLM-based AI agents can interact with users according to their emotional states by capturing the user in dialogue with a camera, recognizing emotions from facial expressions, and adding such emotion information to prompts. The results confirmed that AI agents can have conversations according to the emotional state for emotional states with relatively high scores, such as Happy and Angry.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google