Towards Effective Utilization of Mixed-Quality Demonstrations in Robotic Manipulation via Segment-Level Selection and Optimization

要約

データは、複雑なタスク用のロボットシステムの開発を支えるため、ロボット操作には重要です。
高品質で多様なデータセットは、ロボット操作ポリシーのパフォーマンスと適応性を向上させますが、広範な専門家レベルのデータを収集することはリソース集約型です。
その結果、多くの現在のデータセットは、オペレーターの変動性のために品質の矛盾に悩まされ、混合品質のデータを効果的に利用する方法の必要性を強調しています。
これらの問題を軽減するために、「セグメントを模倣するセグメントを選択する」（S2I）を提案します。これは、セグメントレベルで混合品質のデモデータを選択および最適化し、既存のロボット操作ポリシーとのプラグアンドプレイの互換性を確保します。
このフレームワークには、デモンストレーションセグメンテーションの原点データを意味のあるセグメントに分割すること、コントラスト学習を使用して高品質のセグメントを見つけるセグメント選択、およびより良い政策学習のための準最適なセグメントを改良する軌道最適化の3つのコンポーネントがあります。
6つのタスクにわたるシミュレーションおよび実際の環境での包括的な実験を通じてS2Iを評価し、参照のための3つの専門家デモのみで、S2Iは混合品質のデモンストレーションで訓練された場合、さまざまなダウンストリームポリシーのパフォーマンスを改善できることを実証します。
プロジェクトWebサイト：https：//tonyfang.net/s2i/。

要約(オリジナル)

Data is crucial for robotic manipulation, as it underpins the development of robotic systems for complex tasks. While high-quality, diverse datasets enhance the performance and adaptability of robotic manipulation policies, collecting extensive expert-level data is resource-intensive. Consequently, many current datasets suffer from quality inconsistencies due to operator variability, highlighting the need for methods to utilize mixed-quality data effectively. To mitigate these issues, we propose ‘Select Segments to Imitate’ (S2I), a framework that selects and optimizes mixed-quality demonstration data at the segment level, while ensuring plug-and-play compatibility with existing robotic manipulation policies. The framework has three components: demonstration segmentation dividing origin data into meaningful segments, segment selection using contrastive learning to find high-quality segments, and trajectory optimization to refine suboptimal segments for better policy learning. We evaluate S2I through comprehensive experiments in simulation and real-world environments across six tasks, demonstrating that with only 3 expert demonstrations for reference, S2I can improve the performance of various downstream policies when trained with mixed-quality demonstrations. Project website: https://tonyfang.net/s2i/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google