Semantic-Geometric-Physical-Driven Robot Manipulation Skill Transfer via Skill Library and Tactile Representation

要約

オープンワールド環境でのロボットの導入には、長いシーケンスと豊富なインタラクションを特徴とする複雑なタスクが含まれるため、多様で複雑なシナリオ全体でロボットのスキルを効率的に継承する必要があります。
この課題に対処するために、ロボットに高度なスキル認識と空間的意味理解を与えるナレッジ グラフに基づくスキル ライブラリ フレームワークを提案します。
このフレームワークは、タスクとシーンの意味情報をそれぞれ表す「タスク グラフ」と「シーン グラフ」を構築することにより、運用知識を階層的に組織します。
高レベルのタスク計画と低レベルのシーン情報の間の相互作用を促進するために、「状態グラフ」を導入します。
さらに、運用スキルの階層的な伝達フレームワークを提案します。
タスク レベルでは、このフレームワークは、4 段階のプロンプト パラダイム内でコンテキスト学習と思考連鎖プロンプトを統合し、大規模言語モデル (LLM) の推論および一般化機能を活用して、タスク レベルのサブタスク シーケンスの転送を実現します。
動作レベルでは、A* アルゴリズムとスキル ライブラリを使用して適応軌道伝達方法が開発され、動作レベルの適応軌道伝達が可能になります。
物理レベルでは、触覚に基づく適応的な輪郭抽出と姿勢認識手法を導入します。
この手法は、視覚・触覚テクスチャデータから高精度な輪郭情報や姿勢情報を動的に取得し、接触位置や姿勢などの継承スキルを調整することで、新たな環境でも効果を発揮します。
実験結果は、提案された方法の有効性を検証します。
プロジェクト Web サイト:https://github.com/MingchaoQi/skill_transfer

要約(オリジナル)

Deploying robots in open-world environments involves complex tasks characterized by long sequences and rich interactions, necessitating efficient transfer of robotic skills across diverse and complex scenarios. To address this challenge, we propose a skill library framework based on knowledge graphs, which endows robots with high-level skill awareness and spatial semantic understanding. The framework hierarchically organizes operational knowledge by constructing a ‘task graph’ and a ‘scene graph’ to represent task and scene semantic information, respectively. We introduce a ‘state graph’ to facilitate interaction between high-level task planning and low-level scene information. Furthermore, we propose a hierarchical transfer framework for operational skills. At the task level, the framework integrates contextual learning and chain-of-thought prompting within a four-stage prompt paradigm, leveraging large language models’ (LLMs) reasoning and generalization capabilities to achieve task-level subtask sequence transfer. At the motion level, an adaptive trajectory transfer method is developed using the A* algorithm and the skill library, enabling motion-level adaptive trajectory transfer. At the physical level, we introduce an adaptive contour extraction and posture perception method based on tactile perception. This method dynamically obtains high-precision contour and posture information from visual-tactile texture data and adjusts transferred skills, such as contact positions and postures, to ensure effectiveness in new environments. Experimental results validate the effectiveness of the proposed methods. Project website:https://github.com/MingchaoQi/skill_transfer

arxiv情報

提供元, 利用サービス

arxiv.jp, Google