要約
ロボットの能力が高まるにつれ、ユーザーはハイレベルなミッションを記述し、ロボットがそのギャップを埋めることを望むようになるだろう。多くの現実的な設定では、事前に作成されたマップを入手することは困難であるため、実行には、ミッションに必要かつ固有の探索とマッピングが必要となる。ユーザーがロボットに「影響を受けた地域をトリアージせよ」と命令する緊急対応シナリオを考えてみよう。ロボットは、関連するセマンティクス（犠牲者など）と探索ターゲット（損傷した地域）を、事前情報やその他のコンテキストに基づいて推測し、オンラインで探索とプランの改良を行わなければならない。これらのミッションは不完全に指定され、サブタスクとセマンティクスを意味する。多くのセマンティックプランニング手法はオンラインで動作するが、それらは通常、オブジェクトの探索や探査のような明確に指定されたタスクのために設計されている。近年、大規模言語モデル（Large Language Models: LLM）が、自然言語で記述された様々なロボットタスクに対して、強力な文脈推論を実証している。しかしながら、既存のLLMプランナは一般的にオンライン計画や複雑なミッションを考慮しておらず、むしろ関連するサブタスクは事前に構築されたマップやユーザによって提供される。我々はSPINE(online Semantic Planner for missions with Incomplete Natural language specifications in unstructured Environments)を用いてこれらの限界に対処する。SPINEはLLMを用いてミッションが暗示するサブタスクを推論し、後退する地平線のフレームワークでこれらのサブタスクを実現する。タスクは自動的に安全性が検証され、新たな観測によりオンラインで改良される。我々はSPINEをシミュレーションと実環境で評価した。評価ミッションは、20,000m$^2$以上の面積を持つ乱雑な屋外環境において、意味推論と探索の複数のステップを必要とする。SPINEは単一エージェントや空と地上のチーミングアプリケーションにおいて、競合するベースラインと比較して評価します。ビデオとソフトウェアはプロジェクトページhttps://zacravichandran.github.io/SPINE。
要約(オリジナル)
As robots become increasingly capable, users will want to describe high-level missions and have robots fill in the gaps. In many realistic settings, pre-built maps are difficult to obtain, so execution requires exploration and mapping that are necessary and specific to the mission. Consider an emergency response scenario where a user commands a robot, ‘triage impacted regions.’ The robot must infer relevant semantics (victims, etc.) and exploration targets (damaged regions) based on priors or other context, then explore and refine its plan online. These missions are incompletely specified, meaning they imply subtasks and semantics. While many semantic planning methods operate online, they are typically designed for well specified tasks such as object search or exploration. Recently, Large Language Models (LLMs) have demonstrated powerful contextual reasoning over a range of robotic tasks described in natural language. However, existing LLM planners typically do not consider online planning or complex missions; rather, relevant subtasks are provided by a pre-built map or a user. We address these limitations via SPINE (online Semantic Planner for missions with Incomplete Natural language specifications in unstructured Environments). SPINE uses an LLM to reason about subtasks implied by the mission then realizes these subtasks in a receding horizon framework. Tasks are automatically validated for safety and refined online with new observations. We evaluate SPINE in simulation and real-world settings. Evaluation missions require multiple steps of semantic reasoning and exploration in cluttered outdoor environments of over 20,000m$^2$ area. We evaluate SPINE against competitive baselines in single-agent and air-ground teaming applications. Please find videos and software on our project page: https://zacravichandran.github.io/SPINE
arxiv情報
| 著者 | Zachary Ravichandran,Varun Murali,Mariliza Tzes,George J. Pappas,Vijay Kumar |
| 発行日 | 2024-10-03 22:41:47+00:00 |
| arxivサイト | arxiv_id(pdf) |