Comparing Apples to Oranges: LLM-powered Multimodal Intention Prediction in an Object Categorization Task

要約

インテンションベースのヒューマンロボットインタラクション（HRI）システムにより、ロボットがユーザーの行動を認識して解釈し、人間と積極的に対話し、その行動に適応できるようになります。
したがって、意図の予測は、人間とロボットの間の自然なインタラクティブなコラボレーションを生み出す上で極めて重要です。
この論文では、物理的なロボットとの協調的なオブジェクト分類タスク中に人間の意図を推測するための大規模言語モデル (LLM) の使用を検討します。
手のジェスチャー、体のポーズ、顔の表情などのユーザーの非言語的手がかりを解釈し、それらを環境状態や既存の自動音声認識 (ASR) システムを使用してキャプチャされたユーザーの言語的手がかりと組み合わせるための階層的アプローチを導入します。
私たちの評価は、LLM が非言語的な手がかりを解釈し、それらをコンテキスト理解能力や現実世界の知識と組み合わせて、人間とロボットの対話中の意図予測をサポートする可能性を示しています。

要約(オリジナル)

Intention-based Human-Robot Interaction (HRI) systems allow robots to perceive and interpret user actions to proactively interact with humans and adapt to their behavior. Therefore, intention prediction is pivotal in creating a natural interactive collaboration between humans and robots. In this paper, we examine the use of Large Language Models (LLMs) for inferring human intention during a collaborative object categorization task with a physical robot. We introduce a hierarchical approach for interpreting user non-verbal cues, like hand gestures, body poses, and facial expressions and combining them with environment states and user verbal cues captured using an existing Automatic Speech Recognition (ASR) system. Our evaluation demonstrates the potential of LLMs to interpret non-verbal cues and to combine them with their context-understanding capabilities and real-world knowledge to support intention prediction during human-robot interaction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google