Nadine: An LLM-driven Intelligent Social Robot with Affective Capabilities and Human-like Memory

要約

この研究では、Nadine ソーシャル ロボット プラットフォーム用のインテリジェントで堅牢なソーシャル ロボット システムを開発するアプローチについて説明します。
これは、大規模言語モデル (LLM) を統合し、これらのタイプのモデルの強力な推論機能と指示に従う機能を巧みに活用して、人間のような高度な感情機能と認知機能を実現することでこれを実現します。
このアプローチは、人間のような長期記憶や高度な感情評価を実装していない現在の最先端の LLM ベースのエージェントと比較すると斬新です。
複数のモジュールで構成されるソーシャル ロボットの自然さは、システムの各コンポーネントのパフォーマンスと機能、およびコンポーネントのシームレスな統合に大きく依存します。
マルチモーダルな入力処理により適切な行動を生成し、認識したユーザーに応じたエピソード記憶をもたらし、人間のパートナーとのインタラクションによって誘発されるロボットの感情状態をシミュレートできるソーシャルロボットシステムを構築しました。
特に、システム内のインタラクション モジュールのコア コンポーネントとして機能する、ソーシャル ロボット用の LLM エージェント フレームである SoR-ReAct を導入します。
この設計はソーシャル ロボットの進歩をもたらし、人間とロボットのインタラクションの質を向上させることを目的としています。

要約(オリジナル)

In this work, we describe our approach to developing an intelligent and robust social robotic system for the Nadine social robot platform. We achieve this by integrating Large Language Models (LLMs) and skilfully leveraging the powerful reasoning and instruction-following capabilities of these types of models to achieve advanced human-like affective and cognitive capabilities. This approach is novel compared to the current state-of-the-art LLM-based agents which do not implement human-like long-term memory or sophisticated emotional appraisal. The naturalness of social robots, consisting of multiple modules, highly depends on the performance and capabilities of each component of the system and the seamless integration of the components. We built a social robot system that enables generating appropriate behaviours through multimodal input processing, bringing episodic memories accordingly to the recognised user, and simulating the emotional states of the robot induced by the interaction with the human partner. In particular, we introduce an LLM-agent frame for social robots, SoR-ReAct, serving as a core component for the interaction module in our system. This design has brought forth the advancement of social robots and aims to increase the quality of human-robot interaction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google