Closed-Loop Long-Horizon Robotic Planning via Equilibrium Sequence Modeling

要約

自律的なロボットにアクションを実行させる努力では、タスク計画は、高レベルのタスクの説明を長期式のアクションシーケンスに変換する必要がある主要な課題です。
言語モデルエージェントの最近の進歩にもかかわらず、彼らはエラーを計画する傾向があり、前もって計画する能力が制限されています。
ロボット計画におけるこれらの制限に対処するために、均衡に達するまでドラフト計画を繰り返し改良する自己修復スキームを提唱します。
驚くべきことに、このプロセスは、追加の検証因子をキュレートしたり報酬モデルをキュレートしたりすることなく、分析的な観点からエンドツーエンドを最適化し、単純な監視された学習方法で自己反復プランナーを訓練することができます。
一方、ネストされた平衡シーケンスモデリング手順は、環境（または内部世界モデル）からの有用なフィードバックを組み込んだ効率的な閉ループ計画のために考案されています。
私たちの方法は、VirtualHome-ENVベンチマークで評価されており、スケーリングW.R.T.
推論時間計算。
コードはhttps://github.com/singularity0104/equilibrium-plannerで入手できます。

要約(オリジナル)

In the endeavor to make autonomous robots take actions, task planning is a major challenge that requires translating high-level task descriptions to long-horizon action sequences. Despite recent advances in language model agents, they remain prone to planning errors and limited in their ability to plan ahead. To address these limitations in robotic planning, we advocate a self-refining scheme that iteratively refines a draft plan until an equilibrium is reached. Remarkably, this process can be optimized end-to-end from an analytical perspective without the need to curate additional verifiers or reward models, allowing us to train self-refining planners in a simple supervised learning fashion. Meanwhile, a nested equilibrium sequence modeling procedure is devised for efficient closed-loop planning that incorporates useful feedback from the environment (or an internal world model). Our method is evaluated on the VirtualHome-Env benchmark, showing advanced performance with improved scaling w.r.t. inference-time computation. Code is available at https://github.com/Singularity0104/equilibrium-planner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google