Clothes Grasping and Unfolding Based on RGB-D Semantic Segmentation

要約

タイトル：RGB-Dセマンティックセグメンテーションに基づく服の掴みと展開

要約：
– 服の掴みと展開は、ロボット支援の衣服着用の中核的ステップである。
– 多くの既存の研究は、適切な掴み点を認識するために服の深度画像を利用する深層学習ベースのモデルをトレーニングしている。
– これらの方法では、物理エンジンを利用して深度画像を合成し、実際のラベル付きデータのコストを削減することが多いが、合成画像と実際の画像の自然な領域の違いが性能低下につながることが多い。
– また、これらのアプローチは、掴み点が衣服アイテム自体によって隠されたシナリオで苦戦することが多い。
– これらの課題に対処するため、本研究では、セマンティックセグメンテーションのための新しい双方向フラクタルクロスフュージョンネットワーク（BiFCNet）を提案する。
– BiFCNetは、掴める領域を認識するためのセマンティックセグメンテーションを可能にし、RGB画像も深度画像と共に入力として利用する。
– データ収集のコストを削減するために、RGBと深度のデータを同時に処理しながらラベルの対応を維持する人工的なデータ増強方法を提案する。
– 最後に、衣服の平坦度に基づくセグメンテーション領域からの掴み点選択戦略を追加し、掴む方向を考慮した衣服の掴みと展開のパイプラインを提示する。
– BiFCNetは公開データセットNYUDv2で評価され、現在の最先端モデルと同等の性能を発揮した。Baxterロボットでの展開実験でも84％の成功率を達成した。

要約(オリジナル)

Clothes grasping and unfolding is a core step in robotic-assisted dressing. Most existing works leverage depth images of clothes to train a deep learning-based model to recognize suitable grasping points. These methods often utilize physics engines to synthesize depth images to reduce the cost of real labeled data collection. However, the natural domain gap between synthetic and real images often leads to poor performance of these methods on real data. Furthermore, these approaches often struggle in scenarios where grasping points are occluded by the clothing item itself. To address the above challenges, we propose a novel Bi-directional Fractal Cross Fusion Network (BiFCNet) for semantic segmentation, enabling recognition of graspable regions in order to provide more possibilities for grasping. Instead of using depth images only, we also utilize RGB images with rich color features as input to our network in which the Fractal Cross Fusion (FCF) module fuses RGB and depth data by considering global complex features based on fractal geometry. To reduce the cost of real data collection, we further propose a data augmentation method based on an adversarial strategy, in which the color and geometric transformations simultaneously process RGB and depth data while maintaining the label correspondence. Finally, we present a pipeline for clothes grasping and unfolding from the perspective of semantic segmentation, through the addition of a strategy for grasp point selection from segmentation regions based on clothing flatness measures, while taking into account the grasping direction. We evaluate our BiFCNet on the public dataset NYUDv2 and obtained comparable performance to current state-of-the-art models. We also deploy our model on a Baxter robot, running extensive grasping and unfolding experiments as part of our ablation studies, achieving an 84% success rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI