Remote Life Support Robot Interface System for Global Task Planning and Local Action Expansion Using Foundation Models

要約

言語命令に基づいてタスクを実行できるロボットシステムの研究が盛んに行われている。
現場でしか判断できない不確実な情報を、単一言語の指示でロボットに伝えるのは困難です。
本研究では、予測可能な不確実な事象に対して収集すべき情報とロボットに提示すべき選択肢を伝達するために、言語命令に曖昧な部分をテンプレート変数として組み込むシステムを提案する。
本研究では、情報を収集するためのテンプレート変数に基づく各ロボットの動作関数の即時生成と、ユーザとロボット間のコミュニケーションのためのテンプレート変数に基づく選択肢の提示と選択を行うフィードバックシステムを実装します。
提案したシステムの有効性は、ロボットによって実行される現実生活のサポートタスクに適用することで実証されました。

要約(オリジナル)

Robot systems capable of executing tasks based on language instructions have been actively researched. It is challenging to convey uncertain information that can only be determined on-site with a single language instruction to the robot. In this study, we propose a system that includes ambiguous parts as template variables in language instructions to communicate the information to be collected and the options to be presented to the robot for predictable uncertain events. This study implements prompt generation for each robot action function based on template variables to collect information, and a feedback system for presenting and selecting options based on template variables for user-to-robot communication. The effectiveness of the proposed system was demonstrated through its application to real-life support tasks performed by the robot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google