Foundation Model based Open Vocabulary Task Planning and Executive System for General Purpose Service Robots

要約

このペーパーでは、robocup@home で汎用サービス ロボット (GPSR) タスクを実行できるロボット システムを実装する戦略について説明します。
GPSR タスクは、実際のロボットが音声言語でさまざまなコマンドを聞き、日常生活環境でタスクを実行するというものです。
このタスクを達成するために、基礎モデルベースの推論システムと実行可能なステートマシンタスクを統合します。
基礎モデルはタスクを計画し、オープンボキャブラリーを使用してオブジェクトを検出し、ステートマシンタスクの実行可能ファイルが各ロボットの動作を管理します。
このシステムは安定して動作し、RoboCup@home ジャパンオープン 2022 の GPSR では 130 点を獲得し、他チームを 85 点以上引き離して優勝しました。

要約(オリジナル)

This paper describes a strategy for implementing a robotic system capable of performing General Purpose Service Robot (GPSR) tasks in robocup@home. The GPSR task is that a real robot hears a variety of commands in spoken language and executes a task in a daily life environment. To achieve the task, we integrate foundation models based inference system and a state machine task executable. The foundation models plan the task and detect objects with open vocabulary, and a state machine task executable manages each robot’s actions. This system works stable, and we took first place in the RoboCup@home Japan Open 2022’s GPSR with 130 points, more than 85 points ahead of the other teams.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google