TieBot: Learning to Knot a Tie from Visual Demonstration through a Real-to-Sim-to-Real Approach

要約

ネクタイの結び方タスクは、ネクタイの変形が大きく、操作動作が長周期であるため、難易度が高い。本研究では、ネクタイの結び方を学習するロボットのための、視覚的デモンストレーションから実機への学習システムであるTieBotを提案する。本研究では、ネクタイの結び方を学習するために、デモンストレーション映像からネクタイのメッシュを推定する階層的特徴マッチング手法を導入する。この推定されたメッシュをサブゴールとして、まず特権情報を用いて教師ポリシーを学習する。次に、教師の方針を模倣することで、点群観測による生徒の方針を学習する。最後に、我々のパイプラインは、学習したポリシーを実世界の実行に適用したときの残余ポリシーを学習し、Sim2Realギャップを緩和する。TieBotの有効性をシミュレーションと実世界で実証する。実世界での実験では、デュアルアームロボットが10回の試行のうち50％の成功率でネクタイを結ぶことに成功した。ビデオはhttps://tiebots.github.io/。

要約(オリジナル)

The tie-knotting task is highly challenging due to the tie’s high deformation and long-horizon manipulation actions. This work presents TieBot, a Real-to-Sim-to-Real learning from visual demonstration system for the robots to learn to knot a tie. We introduce the Hierarchical Feature Matching approach to estimate a sequence of tie’s meshes from the demonstration video. With these estimated meshes used as subgoals, we first learn a teacher policy using privileged information. Then, we learn a student policy with point cloud observation by imitating teacher policy. Lastly, our pipeline learns a residual policy when the learned policy is applied to real-world execution, mitigating the Sim2Real gap. We demonstrate the effectiveness of TieBot in simulation and the real world. In the real-world experiment, a dual-arm robot successfully knots a tie, achieving 50% success rate among 10 trials. Videos can be found https://tiebots.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL