Trust the PRoC3S: Solving Long-Horizon Robotics Problems with LLMs and Constraint Satisfaction

要約

ロボット工学に適用される事前トレーニング済み大規模言語モデル (LLM) の最近の開発により、単純なロボット タスクで無制限の目標を達成するために、一連の個別スキルを順序付けする能力が実証されました。
このペーパーでは、一連の連続的にパラメータ化されたスキルの実行において、一連の運動学的、幾何学的、および物理的制約の違反を回避する必要がある一連の LLM 計画のトピックを検討します。
LLM に対して、オープン パラメーターを持つ関数のコードを出力するよう促します。これは、環境制約と合わせて、連続制約満足問題 (CCSP) と見なすことができます。
この CCSP は、制約違反を回避しながら目標を達成するスキル シーケンスと継続的なパラメーター設定を見つけるためのサンプリングまたは最適化を通じて解決できます。
さらに、LLM が運動学的に実行不可能、動的に不安定、または衝突につながるなど、満足できない CCSP を提案するケースを考慮し、それに応じて新しい CCSP を形成するよう LLM に再プロンプトします。
3 つの異なるシミュレートされた 3D ドメインにわたる実験では、私たちが提案する戦略である PRoC3S が、連続パラメーターに対する現実的な制約を持つ広範囲の複雑な操作タスクを、既存のベースラインよりもはるかに効率的かつ効果的に解決できることが実証されました。

要約(オリジナル)

Recent developments in pretrained large language models (LLMs) applied to robotics have demonstrated their capacity for sequencing a set of discrete skills to achieve open-ended goals in simple robotic tasks. In this paper, we examine the topic of LLM planning for a set of continuously parameterized skills whose execution must avoid violations of a set of kinematic, geometric, and physical constraints. We prompt the LLM to output code for a function with open parameters, which, together with environmental constraints, can be viewed as a Continuous Constraint Satisfaction Problem (CCSP). This CCSP can be solved through sampling or optimization to find a skill sequence and continuous parameter settings that achieve the goal while avoiding constraint violations. Additionally, we consider cases where the LLM proposes unsatisfiable CCSPs, such as those that are kinematically infeasible, dynamically unstable, or lead to collisions, and re-prompt the LLM to form a new CCSP accordingly. Experiments across three different simulated 3D domains demonstrate that our proposed strategy, PRoC3S, is capable of solving a wide range of complex manipulation tasks with realistic constraints on continuous parameters much more efficiently and effectively than existing baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google