Distilling Functional Rearrangement Priors from Large Models

要約

ロボット工学の基本的な課題である物体再配置では、多様な物体、構成、機能ニーズを扱うための汎用的な戦略が要求される。これを実現するために、AIロボットは、機能要件を満たす正確な目標を指定するために、機能的再配置の事前分布を学習する必要がある。これまでの手法では、このような事前分布を、手間のかかる人間の注釈や、手動で設計されたヒューリスティックから学習するのが一般的であり、スケーラビリティや汎用性に限界がある。本研究では、大規模なモデルを活用して機能的再配置の事前分布を抽出する新しいアプローチを提案する。具体的には、我々のアプローチはLLMとVLMの両方を用いて多様な配置例を収集し、その例を拡散モデルに抽出する。テスト時間中、学習された拡散モデルは初期配置を条件とし、機能要件を満たすようにオブジェクトの配置をガイドする。このようにして、条件付き生成モデルと大規模モデルの長所を組み合わせたハンドシェーキングポイントを作り出す。実世界のシナリオを含む複数のドメインでの広範な実験により、オブジェクト再配置タスクのための互換性のあるゴールを生成する上での我々のアプローチの有効性が実証され、ベースライン手法を大幅に上回る。

要約(オリジナル)

Object rearrangement, a fundamental challenge in robotics, demands versatile strategies to handle diverse objects, configurations, and functional needs. To achieve this, the AI robot needs to learn functional rearrangement priors in order to specify precise goals that meet the functional requirements. Previous methods typically learn such priors from either laborious human annotations or manually designed heuristics, which limits scalability and generalization. In this work, we propose a novel approach that leverages large models to distill functional rearrangement priors. Specifically, our approach collects diverse arrangement examples using both LLMs and VLMs and then distills the examples into a diffusion model. During test time, the learned diffusion model is conditioned on the initial configuration and guides the positioning of objects to meet functional requirements. In this manner, we create a handshaking point that combines the strengths of conditional generative models and large models. Extensive experiments on multiple domains, including real-world scenarios, demonstrate the effectiveness of our approach in generating compatible goals for object rearrangement tasks, significantly outperforming baseline methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL