CLARA: Classifying and Disambiguating User Commands for Reliable Interactive Robotic Agents

要約

この論文では、大規模言語モデル (LLM) を利用した対話型ロボット エージェントのコンテキストにおいて、指定されたユーザー コマンドが明確であるか、曖昧であるか、または実行不可能であるかを推論することに焦点を当てます。
この問題に取り組むために、我々はまず、コマンドが確実である (つまり、明確である) かそうでない (つまり、曖昧であるか実行不可能である) かを分類するための LLM の不確実性推定方法を提示します。
コマンドが不確実なものとして分類されると、ゼロショット方式で状況認識コンテキストを備えた LLM を活用して、曖昧なコマンドまたは実行不可能なコマンドをさらに区別します。
曖昧なコマンドの場合は、LLM による質問生成を通じてユーザーと対話することでコマンドの曖昧さを解消します。
与えられたコマンドを適切に認識することで、ロボットの誤動作や望ましくない動作が減少し、対話型ロボットエージェントの信頼性が向上すると考えられます。
ロボットの状況認識のためのデータセットを提示します。このデータセットは、高レベルのコマンド、シーンの説明、およびコマンド タイプ (つまり、明確、あいまい、または実行不可能) のラベルのペアで構成されます。
収集したデータセット、ピックアンドプレイステーブルトップシミュレーションで提案された方法を検証します。
最後に、実際の人間とロボットのインタラクション実験、つまりハンドオーバー シナリオで提案されたアプローチを実証します。

要約(オリジナル)

In this paper, we focus on inferring whether the given user command is clear, ambiguous, or infeasible in the context of interactive robotic agents utilizing large language models (LLMs). To tackle this problem, we first present an uncertainty estimation method for LLMs to classify whether the command is certain (i.e., clear) or not (i.e., ambiguous or infeasible). Once the command is classified as uncertain, we further distinguish it between ambiguous or infeasible commands leveraging LLMs with situational aware context in a zero-shot manner. For ambiguous commands, we disambiguate the command by interacting with users via question generation with LLMs. We believe that proper recognition of the given commands could lead to a decrease in malfunction and undesired actions of the robot, enhancing the reliability of interactive robot agents. We present a dataset for robotic situational awareness, consisting pair of high-level commands, scene descriptions, and labels of command type (i.e., clear, ambiguous, or infeasible). We validate the proposed method on the collected dataset, pick-and-place tabletop simulation. Finally, we demonstrate the proposed approach in real-world human-robot interaction experiments, i.e., handover scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google