Semantic-Geometric-Physical-Driven Robot Manipulation Skill Transfer via Skill Library and Tactile Representation

要約

非構造化された環境で操作できる一般的なロボットシステムの開発は、特に関係するタスクは通常、長老で豊富な接触であり、さまざまなタスクシナリオにわたって効率的なスキル転送を必要とするため、重要な課題です。
これらの課題に対処するために、知識グラフベースのスキルライブラリ構築方法を提案します。
この方法は、それぞれ「タスクグラフ」と「シーングラフ」を使用して操作知識を階層的に整理し、それぞれタスク固有およびシーン固有の情報を表します。
さらに、「状態グラフ」を導入して、高レベルのタスク計画と低レベルのシーン情報との相互作用を促進します。
この基盤に基づいて、スキルライブラリと触覚表現に基づいた新しい階層的スキル移転フレームワークをさらに提案します。これは、スキル転送のための高レベルの推論と実行の低レベルの精度を統合します。
タスクレベルでは、大規模な言語モデル（LLM）を利用し、コンテキスト学習を4段階のチェーンと組み合わせて、サブタスクシーケンス転送を実現するためにパラダイムを促します。
モーションレベルでは、スキルライブラリとヒューリスティックパス計画アルゴリズムに基づいて、適応軌道転送方法を開発します。
物理レベルでは、触覚表現に基づいた適応輪郭抽出と姿勢知覚方法を提案します。
この方法は、視覚触覚画像からの高精度の輪郭情報と姿勢情報を動的に取得し、接触位置や姿勢などのパラメーターを調整して、新しい環境で転送されたスキルの有効性を確保します。
実験は、さまざまなタスクシナリオにわたる提案された方法のスキル転送と適応性の能力を示しています。
プロジェクトWebサイト：https：//github.com/mingchaoqi/skill_transfer

要約(オリジナル)

Developing general robotic systems capable of manipulating in unstructured environments is a significant challenge, particularly as the tasks involved are typically long-horizon and rich-contact, requiring efficient skill transfer across different task scenarios. To address these challenges, we propose knowledge graph-based skill library construction method. This method hierarchically organizes manipulation knowledge using ‘task graph’ and ‘scene graph’ to represent task-specific and scene-specific information, respectively. Additionally, we introduce ‘state graph’ to facilitate the interaction between high-level task planning and low-level scene information. Building upon this foundation, we further propose a novel hierarchical skill transfer framework based on the skill library and tactile representation, which integrates high-level reasoning for skill transfer and low-level precision for execution. At the task level, we utilize large language models (LLMs) and combine contextual learning with a four-stage chain-of-thought prompting paradigm to achieve subtask sequence transfer. At the motion level, we develop an adaptive trajectory transfer method based on the skill library and the heuristic path planning algorithm. At the physical level, we propose an adaptive contour extraction and posture perception method based on tactile representation. This method dynamically acquires high-precision contour and posture information from visual-tactile images, adjusting parameters such as contact position and posture to ensure the effectiveness of transferred skills in new environments. Experiments demonstrate the skill transfer and adaptability capabilities of the proposed methods across different task scenarios. Project website: https://github.com/MingchaoQi/skill_transfer

arxiv情報

提供元, 利用サービス

arxiv.jp, Google