VADER: Visual Affordance Detection and Error Recovery for Multi Robot Human Collaboration

要約

今日のロボットは、大規模な言語モデルの豊富な世界知識を活用して、単純な行動スキルを長期的なタスクに連鎖させることができます。
ただし、ロボットは、原始的なスキルの失敗や動的な環境により、長期的なタスク中に中断されることがよくあります。
私たちは、ロボットが人間や他のロボットの助けを借りて長期的なタスクを回復して完了できるようにする新しいスキルとして、支援を求める計画、実行、検出フレームワークである VADER を提案します。
VADER は、ビジュアル質問応答 (VQA) モジュールを活用して、ビジュアル アフォーダンスを検出し、実行エラーを認識します。
次に、言語モデル プランナー (LMP) へのプロンプトを生成します。LMP は、長期タスク実行のエラーから回復するために、いつ別のロボットまたは人間に助けを求めるかを決定します。
2 つの長期的なロボット タスクによる VADER の有効性を示します。
私たちのパイロット研究では、VADER がテーブルを片付けるために別のロボットに助けを求めることで、複雑な長期タスクを実行できることがわかりました。
私たちのユーザー調査では、VADER が人間に助けを求めて道を切り開くことで、長期にわたる複雑なタスクを実行できることがわかりました。
私たちは、VADER のパフォーマンスと助けを求めなかったロボットのパフォーマンスについて、人々 (N=19) からフィードバックを収集しました。
https://google-vader.github.io/

要約(オリジナル)

Robots today can exploit the rich world knowledge of large language models to chain simple behavioral skills into long-horizon tasks. However, robots often get interrupted during long-horizon tasks due to primitive skill failures and dynamic environments. We propose VADER, a plan, execute, detect framework with seeking help as a new skill that enables robots to recover and complete long-horizon tasks with the help of humans or other robots. VADER leverages visual question answering (VQA) modules to detect visual affordances and recognize execution errors. It then generates prompts for a language model planner (LMP) which decides when to seek help from another robot or human to recover from errors in long-horizon task execution. We show the effectiveness of VADER with two long-horizon robotic tasks. Our pilot study showed that VADER is capable of performing complex long-horizon tasks by asking for help from another robot to clear a table. Our user study showed that VADER is capable of performing complex long-horizon tasks by asking for help from a human to clear a path. We gathered feedback from people (N=19) about the performance of the VADER performance vs. a robot that did not ask for help. https://google-vader.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google