Building Knowledge from Interactions: An LLM-Based Architecture for Adaptive Tutoring and Social Reasoning

要約

ロボット工学を個別指導や身体トレーニングなどの日常のシナリオに統合するには、適応性があり、社会的に魅力的で、目標指向の相互作用ができるロボットが必要です。
大規模な言語モデルは、人間のようなコミュニケーションで有望であることを示していますが、それらのスタンドアロンの使用は、メモリの制約と文脈上の一貫性によって妨げられます。
この作業は、社会的および課題指向の人間とロボットの相互作用におけるLLMベースの自律的意思決定を強化するマルチモーダルで認知的にインスピレーションを受けたフレームワークを提示します。
具体的には、ロボットトレーナー向けのLLMベースのエージェントを開発し、ソーシャル会話とタスクガイダンスと目標主導の動機のバランスを取ります。
自律性とパーソナライズをさらに強化するために、経験を選択、保存、取得するためのメモリシステムを導入し、さまざまな相互作用に基づいて構築された知識に基づいて一般化された推論を促進します。
予備的なHRIユーザー調査と合成データセットを使用したオフライン実験は、私たちのアプローチを検証し、複雑な相互作用を管理し、トレーニングタスクを自律的に駆動し、コンテキストメモリを構築および取得するシステムの能力を実証し、社会的にインテリジェントなロボット工学を進めます。

要約(オリジナル)

Integrating robotics into everyday scenarios like tutoring or physical training requires robots capable of adaptive, socially engaging, and goal-oriented interactions. While Large Language Models show promise in human-like communication, their standalone use is hindered by memory constraints and contextual incoherence. This work presents a multimodal, cognitively inspired framework that enhances LLM-based autonomous decision-making in social and task-oriented Human-Robot Interaction. Specifically, we develop an LLM-based agent for a robot trainer, balancing social conversation with task guidance and goal-driven motivation. To further enhance autonomy and personalization, we introduce a memory system for selecting, storing and retrieving experiences, facilitating generalized reasoning based on knowledge built across different interactions. A preliminary HRI user study and offline experiments with a synthetic dataset validate our approach, demonstrating the system’s ability to manage complex interactions, autonomously drive training tasks, and build and retrieve contextual memories, advancing socially intelligent robotics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google