Closed-Loop Long-Horizon Robotic Planning via Equilibrium Sequence Modeling

要約

自律型ロボットに行動を起こさせる試みにおいて、タスクプランニングは大きな課題であり、高レベルのタスク記述を長期的な行動シーケンスに変換する必要がある。近年の言語モデルエージェントの進歩にもかかわらず、言語モデルエージェントは依然としてプランニングエラーを起こしやすく、先の計画を立てる能力に限界がある。このようなロボットプランニングの限界に対処するため、我々は、平衡に達するまで繰り返し計画案を改良する自己改良方式を提唱する。驚くべきことに、このプロセスは分析的観点からエンド・ツー・エンドで最適化することができ、検証者や報酬モデルを追加する必要がない。一方、環境（あるいは内部世界モデル）からの有用なフィードバックを組み込んだ効率的な閉ループプランニングのために、入れ子平衡シーケンスモデリング手順を考案する。本手法はVirtualHome-Envベンチマークで評価され、推論計算のスケーリングが向上し、高度な性能を示す。コードはhttps://github.com/Singularity0104/equilibrium-planner。

要約(オリジナル)

In the endeavor to make autonomous robots take actions, task planning is a major challenge that requires translating high-level task descriptions into long-horizon action sequences. Despite recent advances in language model agents, they remain prone to planning errors and limited in their ability to plan ahead. To address these limitations in robotic planning, we advocate a self-refining scheme that iteratively refines a draft plan until an equilibrium is reached. Remarkably, this process can be optimized end-to-end from an analytical perspective without the need to curate additional verifiers or reward models, allowing us to train self-refining planners in a simple supervised learning fashion. Meanwhile, a nested equilibrium sequence modeling procedure is devised for efficient closed-loop planning that incorporates useful feedback from the environment (or an internal world model). Our method is evaluated on the VirtualHome-Env benchmark, showing advanced performance with better scaling for inference computation. Code is available at https://github.com/Singularity0104/equilibrium-planner.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL