Generative Factor Chaining: Coordinated Manipulation with Diffusion-based Factor Graph

要約

マルチステップ、マルチマニピュレータのタスクを計画する方法を学習することは、探索空間が広く、制約を満たす問題が複雑なため、難しいことで知られています。
計画のための構成可能な生成モデルである Generative Factor Chaining~(GFC) を紹介します。
GFC は、計画問題を時空間因子グラフとして表します。ノードはシーン内のオブジェクトとロボットを表し、空間因子はノード間の有効な関係の分布を捕捉し、時間因子はスキル遷移の分布を表します。
各要素はモジュール式拡散モデルとして実装され、推論中に構成され、双方向メッセージ パッシングを通じて実現可能な長期計画を生成します。
我々は、GFC が複雑な両手操作タスクを解決できること、およびオブジェクトと制約の新しい組み合わせによる目に見えない計画タスクに対する強力な一般化を示すことを示します。
詳細については、https://generative-fc.github.io/ をご覧ください。

要約(オリジナル)

Learning to plan for multi-step, multi-manipulator tasks is notoriously difficult because of the large search space and the complex constraint satisfaction problems. We present Generative Factor Chaining~(GFC), a composable generative model for planning. GFC represents a planning problem as a spatial-temporal factor graph, where nodes represent objects and robots in the scene, spatial factors capture the distributions of valid relationships among nodes, and temporal factors represent the distributions of skill transitions. Each factor is implemented as a modular diffusion model, which are composed during inference to generate feasible long-horizon plans through bi-directional message passing. We show that GFC can solve complex bimanual manipulation tasks and exhibits strong generalization to unseen planning tasks with novel combinations of objects and constraints. More details can be found at: https://generative-fc.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google