DeMoBot: Deformable Mobile Manipulation with Vision-based Sub-goal Retrieval

要約

模倣学習 (IL) アルゴリズムは通常、経験を抽出してパラメトリックな行動ポリシーを作成し、専門家のデモンストレーションを模倣します。
経験が限られているため、これまでの方法では、特に部分的な観察や動的なオブジェクトの変形を特徴とするタスクでは、現在の状態を専門家のデモンストレーションと正確に一致させることが困難であることがよくあります。
私たちは、自己中心的な限られた視野での変形可能なモバイル操作における模倣学習を検討し、デモンストレーションから観察を直接取得する DeMoBot と呼ばれる新しい IL アプローチを紹介します。
DeMoBot は、ビジョン基盤モデルを利用して、視覚的な類似性に基づいて関連する専門家データを特定し、軌道の類似性と前方到達可能性の制約を使用して現在の軌道を実証された軌道と照合して、適切なサブ目標を選択します。
目標条件付きモーション生成ポリシーは、タスクが完了するまでロボットをサブ目標に導きます。
私たちは、いくつかのシミュレートされた現実世界の設定で Spot ロボットを使用して DeMoBot を評価し、その有効性と汎用性を実証します。
DeMoBot は、わずか 20 回のデモン​​ストレーションでベースラインを上回り、ギャップのカバー (シミュレーション 85%、現実世界の 80%) とテーブルのカバー解除 (シミュレーション 87.5%、現実世界の 70%) で高い成功率を達成し、カーテンを開けるなどの複雑なタスクでも有望であることを示しています。
(47.5% シミュレーション、35% 現実世界)。
詳細については、https://sites.google.com/view/demobot-fewshot/home をご覧ください。

要約(オリジナル)

Imitation learning (IL) algorithms typically distil experience into parametric behavior policies to mimic expert demonstrations. With limited experience previous methods often struggle and cannot accurately align the current state with expert demonstrations, particularly in tasks that are characterised by partial observations or dynamic object deformations. We consider imitation learning in deformable mobile manipulation with an ego-centric limited field of view and introduce a novel IL approach called DeMoBot that directly retrieves observations from demonstrations. DeMoBot utilizes vision foundation models to identify relevant expert data based on visual similarity and matches the current trajectory with demonstrated trajectories using trajectory similarity and forward reachability constraints to select suitable sub-goals. A goal-conditioned motion generation policy shall guide the robot to the sub-goal until the task is completed. We evaluate DeMoBot using a Spot robot in several simulated and real-world settings, demonstrating its effectiveness and generalizability. DeMoBot outperforms baselines with only 20 demonstrations, attaining high success rates in gap covering (85% simulation, 80% real-world) and table uncovering (87.5% simulation, 70% real-world), while showing promise in complex tasks like curtain opening (47.5% simulation, 35% real-world). Additional details are available at: https://sites.google.com/view/demobot-fewshot/home

arxiv情報

提供元, 利用サービス

arxiv.jp, Google