MateRobot: Material Recognition in Wearable Robotics for People with Visual Impairments

要約

ウェアラブル ロボティクスは、追加の感覚情報を提供することで、視覚障害を持つ人々 (PVI) の生活を改善できます。
目の不自由な人は通常、触覚によって物体を認識します。
ただし、支援技術の分野では、触る前に素材を知ることは十分に研究されていません。
このギャップを埋めるために、この作業では、ウェアラブル ロボット システムである MateRobot が PVI 用に確立され、事前に材料を認識します。
特に、人間中心のシステムは、オブジェクトとマテリアルのピクセル単位のセマンティック セグメンテーションを実行できます。
一般的なオブジェクト セグメンテーションとマテリアル セグメンテーションの両方を考慮して、学習可能な重要度サンプリング (LIS) とマルチゲート エキスパート混合 (MMoE) を備えた効率的な MateViT アーキテクチャがウェアラブル ロボットに提案され、さまざまなターゲット ドメインから補完的なゲインを達成します。
私たちの方法は、COCOStuff および DMS データセットでそれぞれ 40.2% および 51.1% の mIoU を達成し、+5.7% および +7.0% の増加で以前の方法を上回ります。
さらに、参加者によるフィールド テストでは、当社のウェアラブル システムは NASA タスク ロード インデックスで 28 のスコアを獲得しており、認知的要求が低く、使いやすいことが示されています。
当社の MateRobot は、視覚的な合図を通じて材料特性を認識する可能性を示し、PVI 用のウェアラブル ロボットの機能を改善するための有望なステップを提供します。
コードは https://github.com/JunweiZheng93/MATERobot で入手できます。

要約(オリジナル)

Wearable robotics can improve the lives of People with Visual Impairments (PVI) by providing additional sensory information. Blind people typically recognize objects through haptic perception. However, knowing materials before touching is under-explored in the field of assistive technology. To fill this gap, in this work, a wearable robotic system, MateRobot, is established for PVI to recognize materials before hand. Specially, the human-centric system can perform pixel-wise semantic segmentation of objects and materials. Considering both general object segmentation and material segmentation, an efficient MateViT architecture with Learnable Importance Sampling (LIS) and Multi-gate Mixture-of-Experts (MMoE) is proposed to wearable robots to achieve complementary gains from different target domains. Our methods achieve respective 40.2% and 51.1% of mIoU on COCOStuff and DMS datasets, surpassing previous method with +5.7% and +7.0% gains. Moreover, on the field test with participants, our wearable system obtains a score of 28 in NASA-Task Load Index, indicating low cognitive demands and ease of use. Our MateRobot demonstrates the feasibility of recognizing material properties through visual cues, and offers a promising step towards improving the functionality of wearable robots for PVI. Code will be available at: https://github.com/JunweiZheng93/MATERobot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google