ASC: Adaptive Skill Coordination for Robotic Mobile Manipulation

要約

我々は、適応的スキル協調（Adaptive Skill Coordination: ASC）を発表する。これは、移動可能なピックアンドプレース（対象物までナビゲートし、それをピックし、別の場所までナビゲートし、それを配置する）のような、長い地平線のタスクを達成するためのアプローチである。ASCは3つのコンポーネントから構成される–(1)基本的な視覚運動スキルのライブラリ（ナビゲーション、ピック、プレース）、(2)どのスキルをいつ使うかを選択するスキル調整ポリシー、(3)事前訓練されたスキルの分布外状態を適応させる修正ポリシー。ASCの全ての構成要素は、オンボードの視覚と前知覚センシングのみに依存し、障害物の配置や正確なオブジェクトの位置を示す詳細な地図のような情報を必要としないため、実世界への展開が容易である。我々は、屋内環境のシミュレーションでASCを訓練し、8つの新しい実環境（1つのアパート、1つの研究室、2つのマイクロキッチン、2つのラウンジ、1つのオフィススペース、1つの屋外の中庭）でボストンダイナミクススポットロボットでゼロショット（実世界での経験や微調整なし）でASCを展開する。2つの環境における厳密な定量的比較では、ASCはほぼ完璧なパフォーマンス（59/60エピソード、98%）を達成したが、スキルの逐次実行は44/60エピソード（73%）でしか成功しなかった。広範な摂動実験により、ASCはハンドオフエラー、環境レイアウトの変化、動的障害物（例：人）、予期せぬ外乱に対して頑健であることが示された。補足動画はadaptiveskillcoordination.github.ioにある。

要約(オリジナル)

We present Adaptive Skill Coordination (ASC) — an approach for accomplishing long-horizon tasks like mobile pick-and-place (i.e., navigating to an object, picking it, navigating to another location, and placing it). ASC consists of three components — (1) a library of basic visuomotor skills (navigation, pick, place), (2) a skill coordination policy that chooses which skill to use when, and (3) a corrective policy that adapts pre-trained skills in out-of-distribution states. All components of ASC rely only on onboard visual and proprioceptive sensing, without requiring information like detailed maps with obstacle layouts or precise object locations, easing real-world deployment. We train ASC in simulated indoor environments, and deploy it zero-shot (without any real-world experience or fine-tuning) on the Boston Dynamics Spot robot in 8 novel real-world environments (1 apartment, 1 lab, 2 microkitchens, 2 lounges, 1 office space, 1 outdoor courtyard). In rigorous quantitative comparisons in 2 environments, ASC achieves near-perfect performance (59/60 episodes, or 98%), while sequentially executing skills succeeds in only 44/60 (73%) episodes. Extensive perturbation experiments show that ASC is robust to hand-off errors, changes in the environment layout, dynamic obstacles (e.g., people), and unexpected disturbances. Supplementary videos at adaptiveskillcoordination.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL