A Backbone for Long-Horizon Robot Task Understanding

要約

特に長老のタスクでは、エンドツーエンドのロボット学習は、予測不可能な結果と一般化の不十分な結果をもたらすことがよくあります。
これらの課題に対処するために、ロボットシステムの解釈可能性、データ効率、および一般化を強化するための基本構造として、新しいTherbligベースのバックボーンフレームワーク（TBBF）を提案します。
TBBFは、Therbligレベルのタスク分解を可能にし、効率的なアクションオブジェクトマッピングを促進し、新しいシナリオの適応軌跡を生成するために、専門家のデモンストレーションを利用します。
このアプローチは、オフライントレーニングとオンラインテストの2つの段階で構成されています。
オフライントレーニング段階で、さまざまなタスクで正確なTherBligセグメンテーションのために、メタRGATE SynerFusion（MGSF）ネットワークを開発しました。
オンラインテスト段階では、新しいタスクのワンショットデモンストレーションが収集された後、MGSFネットワークは高レベルの知識を抽出し、アクション登録（ActionREG）を使用して画像にエンコードされます。
さらに、視覚補正のための大規模な言語モデル（LLM） – 整列ポリシー（LAP-VC）が採用され、正確なアクション登録を確保し、新しいロボットシナリオでの軌道転送を促進します。
実験結果は、これらの方法を検証し、それぞれシンプルで複雑なシナリオの現実世界のオンラインロボットテストで、94.4％と80％のTherbligセグメンテーションと成功率で94.37％のリコールを達成します。
補足資料は、https：//sites.google.com/view/therbligsbasedbackbone/homeで入手できます

要約(オリジナル)

End-to-end robot learning, particularly for long-horizon tasks, often results in unpredictable outcomes and poor generalization. To address these challenges, we propose a novel Therblig-Based Backbone Framework (TBBF) as a fundamental structure to enhance interpretability, data efficiency, and generalization in robotic systems. TBBF utilizes expert demonstrations to enable therblig-level task decomposition, facilitate efficient action-object mapping, and generate adaptive trajectories for new scenarios. The approach consists of two stages: offline training and online testing. During the offline training stage, we developed the Meta-RGate SynerFusion (MGSF) network for accurate therblig segmentation across various tasks. In the online testing stage, after a one-shot demonstration of a new task is collected, our MGSF network extracts high-level knowledge, which is then encoded into the image using Action Registration (ActionREG). Additionally, Large Language Model (LLM)-Alignment Policy for Visual Correction (LAP-VC) is employed to ensure precise action registration, facilitating trajectory transfer in novel robot scenarios. Experimental results validate these methods, achieving 94.37% recall in therblig segmentation and success rates of 94.4% and 80% in real-world online robot testing for simple and complex scenarios, respectively. Supplementary material is available at: https://sites.google.com/view/therbligsbasedbackbone/home

arxiv情報

提供元, 利用サービス

arxiv.jp, Google