STRAP: Robot Sub-Trajectory Retrieval for Augmented Policy Learning

要約

ロボット学習では、自然言語処理やコンピューター ビジョンなどの分野の傾向を反映して、事前に収集されたデータセットのサイズ、多様性、複雑さが大幅に増加しています。
多くのロボット学習手法は、このようなデータセットをマルチタスクの専門家データとして扱い、データセット全体を幅広くトレーニングすることで、マルチタスクのジェネラリスト ポリシーを学習します。
特に、これらのジェネラリスト ポリシーは多くのタスクの平均パフォーマンスを向上させることができますが、タスク固有のスペシャリスト ポリシーと比較すると、データのパーティション間の負の転送により、1 つのタスクに対するジェネラリスト ポリシーのパフォーマンスは最適化されていないことがよくあります。
この研究では、遭遇するシナリオを考慮して、展開中にポリシーをトレーニングするパラダイムを主張します。事前にトレーニングされたポリシーを目に見えない問題に対してゼロショットで展開するのではなく、ノンパラメトリックに関連データを直接取得してモデルをトレーニングします。
テスト時間。
さらに、多くのロボットタスクがかなりの量の低レベルの動作を共有しており、「サブ」軌道粒度での取得により、新しい問題にポリシーを適応させる際のデータ利用、一般化、堅牢性が大幅に向上することを示します。
対照的に、既存の完全な軌跡の取得方法では、データが十分に活用されず、タスク間で共有されるコンテンツが失われる傾向があります。
この研究では、事前トレーニングされたビジョン基盤モデルと動的タイムワーピングを活用して、大規模なトレーニング コーパスから軌道のサブシーケンスを堅牢な方法で取得する手法である STRAP を提案します。
STRAP は、シミュレーション実験と実際の実験において、以前の検索アルゴリズムとマルチタスク学習法の両方を上回っており、現実世界のはるかに大規模なオフライン データセットに拡張できる能力と、ほんの少数の現実世界のデータセットで堅牢な制御ポリシーを学習できる能力を示しています。
デモ。

要約(オリジナル)

Robot learning is witnessing a significant increase in the size, diversity, and complexity of pre-collected datasets, mirroring trends in domains such as natural language processing and computer vision. Many robot learning methods treat such datasets as multi-task expert data and learn a multi-task, generalist policy by training broadly across them. Notably, while these generalist policies can improve the average performance across many tasks, the performance of generalist policies on any one task is often suboptimal due to negative transfer between partitions of the data, compared to task-specific specialist policies. In this work, we argue for the paradigm of training policies during deployment given the scenarios they encounter: rather than deploying pre-trained policies to unseen problems in a zero-shot manner, we non-parametrically retrieve and train models directly on relevant data at test time. Furthermore, we show that many robotics tasks share considerable amounts of low-level behaviors and that retrieval at the ‘sub’-trajectory granularity enables significantly improved data utilization, generalization, and robustness in adapting policies to novel problems. In contrast, existing full-trajectory retrieval methods tend to underutilize the data and miss out on shared cross-task content. This work proposes STRAP, a technique for leveraging pre-trained vision foundation models and dynamic time warping to retrieve sub-sequences of trajectories from large training corpora in a robust fashion. STRAP outperforms both prior retrieval algorithms and multi-task learning methods in simulated and real experiments, showing the ability to scale to much larger offline datasets in the real world as well as the ability to learn robust control policies with just a handful of real-world demonstrations.

arxiv情報

著者 Marius Memmel,Jacob Berg,Bingqing Chen,Abhishek Gupta,Jonathan Francis
発行日 2024-12-19 18:54:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO, cs.SY, eess.SY パーマリンク