RoCo: Dialectic Multi-Robot Collaboration with Large Language Models

要約

私たちは、高レベルの通信と低レベルのパス計画の両方に事前トレーニングされた大規模言語モデル (LLM) の力を活用する、マルチロボットのコラボレーションに対する新しいアプローチを提案します。
ロボットには、タスク戦略を議論し、集合的に推論するための LLM が装備されています。
次に、サブタスク プランとタスク スペース ウェイポイント パスを生成します。これらは、マルチアーム モーション プランナーによって軌道計画を加速するために使用されます。
また、衝突チェックなどの環境からのフィードバックも提供し、LLM エージェントにコンテキスト内の計画とウェイポイントを改善するよう促します。
評価のために、エージェントの表現と推論のためのテキストのみのデータセットを伴う、幅広いマルチロボット コラボレーション シナリオをカバーする 6 タスクのベンチマークである RoCoBench を導入します。
私たちは、このアプローチの有効性を実験的に実証しています。RoCoBench のすべてのタスクにわたって高い成功率を達成し、タスク セマンティクスの変化に適応します。
私たちのダイアログ設定は、高い解釈可能性と柔軟性を提供します。実際の実験では、RoCo が人間参加型のシステムを簡単に組み込んでおり、ユーザーがロボット エージェントと通信して協力し、一緒にタスクを完了できることが示されています。
ビデオとコードについては、プロジェクト Web サイト https://project-roco.github.io を参照してください。

要約(オリジナル)

We propose a novel approach to multi-robot collaboration that harnesses the power of pre-trained large language models (LLMs) for both high-level communication and low-level path planning. Robots are equipped with LLMs to discuss and collectively reason task strategies. They then generate sub-task plans and task space waypoint paths, which are used by a multi-arm motion planner to accelerate trajectory planning. We also provide feedback from the environment, such as collision checking, and prompt the LLM agents to improve their plan and waypoints in-context. For evaluation, we introduce RoCoBench, a 6-task benchmark covering a wide range of multi-robot collaboration scenarios, accompanied by a text-only dataset for agent representation and reasoning. We experimentally demonstrate the effectiveness of our approach — it achieves high success rates across all tasks in RoCoBench and adapts to variations in task semantics. Our dialog setup offers high interpretability and flexibility — in real world experiments, we show RoCo easily incorporates human-in-the-loop, where a user can communicate and collaborate with a robot agent to complete tasks together. See project website https://project-roco.github.io for videos and code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google