Hi Robot: Open-Ended Instruction Following with Hierarchical Vision-Language-Action Models

要約

オープンワールド設定でさまざまなタスクを実行できるジェネラリストロボットは、目標を達成するために必要な手順についての理由だけでなく、タスクの実行中に複雑な命令、プロンプト、さらにはフィードバックを処理できる必要があります。
複雑な指示（たとえば、「私にベジタリアンのサンドイッチを作っていただけませんか？」または「私はそれが好きではありません」）には、個々のステップを物理的に実行する能力だけでなく、物理的な世界で複雑なコマンドとフィードバックを配置する能力が必要です。
この作業では、階層構造でビジョン言語モデルを使用するシステム、複雑なプロンプトに対する最初の推論とユーザーフィードバックを使用して、タスクを満たすための最も適切な次のステップを推定し、低レベルのアクションでそのステップを実行するシステムについて説明します。
単純なコマンドを満たすことができる直接的な指示に従うこととは対照的に（「カップをピックアップする」）、システムは複雑なプロンプトを介して推論し、タスクの実行中に状況フィードバックを組み込むことができます（「それはゴミではない」）。
シングルアーム、デュアルアーム、デュアルアームモバイルロボットを含む3つのロボットプラットフォームでシステムを評価し、乱雑なテーブルのクリーニング、サンドイッチ、食料品の買い物などのタスクを処理する能力を実証します。

要約(オリジナル)

Generalist robots that can perform a range of different tasks in open-world settings must be able to not only reason about the steps needed to accomplish their goals, but also process complex instructions, prompts, and even feedback during task execution. Intricate instructions (e.g., ‘Could you make me a vegetarian sandwich?’ or ‘I don’t like that one’) require not just the ability to physically perform the individual steps, but the ability to situate complex commands and feedback in the physical world. In this work, we describe a system that uses vision-language models in a hierarchical structure, first reasoning over complex prompts and user feedback to deduce the most appropriate next step to fulfill the task, and then performing that step with low-level actions. In contrast to direct instruction following methods that can fulfill simple commands (‘pick up the cup’), our system can reason through complex prompts and incorporate situated feedback during task execution (‘that’s not trash’). We evaluate our system across three robotic platforms, including single-arm, dual-arm, and dual-arm mobile robots, demonstrating its ability to handle tasks such as cleaning messy tables, making sandwiches, and grocery shopping.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google