Close-Fitting Dressing Assistance Based on State Estimation of Feet and Garments with Semantic-based Visual Attention

要約

人口が老化し続けるにつれて、将来的には介護者の不足が予想されます。
特に、ドレッシングアシスタンスは、社会的参加の機会に不可欠です。
特に、靴下などのぴったりとぴったりの衣服は、衣服の形と位置を考慮しながら、摩擦を処理したり、肌にぶつかるのに、強力な力を調整する必要があるため、困難なままです。
この研究では、ロボットのカメラ画像、関節角度、関節トルクだけでなく、人間の個人差に適応できる適切な力の相互作用のための触覚力も含むマルチモーダル情報を使用する方法を紹介します。
さらに、RGBデータのみに依存するのではなく、オブジェクトの概念に基づいてセマンティック情報を導入することにより、目に見えない足と背景に一般化できます。
さらに、深さデータを組み込むことで、靴下と足の間の相対的な空間的関係を推測するのに役立ちます。
セマンティックオブジェクトの概念化の能力を検証し、安全性を確保するために、マネキンを使用してトレーニングデータを収集し、その後の実験を人間の被験者で実施しました。
実験では、ロボットは以前に目に見えない人間の足に成功し、10人の参加者に靴下を置くことができ、変圧器と拡散ポリシーでチャンキングするよりも高い成功率を達成しました。
これらの結果は、提案されたモデルが衣服と足の両方の状態を推定できることを示しており、近くの衣服のための正確なドレッシング支援を可能にします。

要約(オリジナル)

As the population continues to age, a shortage of caregivers is expected in the future. Dressing assistance, in particular, is crucial for opportunities for social participation. Especially dressing close-fitting garments, such as socks, remains challenging due to the need for fine force adjustments to handle the friction or snagging against the skin, while considering the shape and position of the garment. This study introduces a method uses multi-modal information including not only robot’s camera images, joint angles, joint torques, but also tactile forces for proper force interaction that can adapt to individual differences in humans. Furthermore, by introducing semantic information based on object concepts, rather than relying solely on RGB data, it can be generalized to unseen feet and background. In addition, incorporating depth data helps infer relative spatial relationship between the sock and the foot. To validate its capability for semantic object conceptualization and to ensure safety, training data were collected using a mannequin, and subsequent experiments were conducted with human subjects. In experiments, the robot successfully adapted to previously unseen human feet and was able to put socks on 10 participants, achieving a higher success rate than Action Chunking with Transformer and Diffusion Policy. These results demonstrate that the proposed model can estimate the state of both the garment and the foot, enabling precise dressing assistance for close-fitting garments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google