Self-supervised Cloth Reconstruction via Action-conditioned Cloth Tracking

要約

状態推定は、クロスの高次元性とセルフオクルージョンにより、クロス操作の最大の課題の 1 つです。
以前の研究では、シミュレーションでメッシュ再構築モデルをトレーニングすることにより、しわくちゃの服の完全な状態を特定することが提案されています。
ただし、このようなモデルは、クロス シミュレーションと現実の世界との違いにより、シミュレーションと現実のギャップに悩まされる傾向があります。
この作業では、現実世界でメッシュ再構成モデ​​ルを微調整するための自己教師あり方法を提案します。
しわくちゃの布の完全なメッシュを現実の世界で取得することは困難であるため、特別なデータ収集スキームとアクション条件付きのモデルベースの布追跡方法を設計して、自己教師あり学習用の疑似ラベルを生成します。
この疑似ラベル付けされたデータセットで事前トレーニング済みのメッシュ再構築モデルを微調整することにより、人間の注釈を必要とせずに再構築されたメッシュの品質を改善し、下流の操作タスクのパフォーマンスを改善できることを示します。

要約(オリジナル)

State estimation is one of the greatest challenges for cloth manipulation due to cloth’s high dimensionality and self-occlusion. Prior works propose to identify the full state of crumpled clothes by training a mesh reconstruction model in simulation. However, such models are prone to suffer from a sim-to-real gap due to differences between cloth simulation and the real world. In this work, we propose a self-supervised method to finetune a mesh reconstruction model in the real world. Since the full mesh of crumpled cloth is difficult to obtain in the real world, we design a special data collection scheme and an action-conditioned model-based cloth tracking method to generate pseudo-labels for self-supervised learning. By finetuning the pretrained mesh reconstruction model on this pseudo-labeled dataset, we show that we can improve the quality of the reconstructed mesh without requiring human annotations, and improve the performance of downstream manipulation task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google