MateRobot: Material Recognition in Wearable Robotics for People with Visual Impairments

要約

視覚障害者 (PVI) は通常、触覚を通じて物体を認識します。
対象となるユーザーは、触れる前に物体や素材を知ることが望まれていますが、人間中心のロボット工学の分野では十分に検討されていません。
このギャップを埋めるために、この研究では、PVI がマテリアルとオブジェクト カテゴリを事前に認識できるように、ウェアラブル ビジョン ベースのロボット システム MateRobot が確立されています。
モバイル プラットフォームの計算上の制約に対処するために、ピクセル単位のセマンティック セグメンテーションを実行し、オブジェクトとマテリアルの両方を同時に認識する軽量でありながら正確なモデル MateViT を提案します。
私たちの手法は、COCOStuff-10K および DMS データセットでそれぞれ mIoU の 40.2% と 51.1% を達成し、以前の手法を +5.7% および +7.0% 上回りました。
さらに、参加者によるフィールドテストでは、当社のウェアラブルシステムは NASA タスク負荷指数で 28 のスコアに達し、認知要求が低いことと使いやすさを示しています。
当社の MateRobot は、視覚的な手がかりを通じて材料特性を認識する実現可能性を実証し、PVI 用のウェアラブル ロボットの機能向上に向けた有望な一歩を提供します。
ソース コードは https://junweizheng93.github.io/publications/MATERobot/MATERobot.html で公開されています。

要約(オリジナル)

People with Visual Impairments (PVI) typically recognize objects through haptic perception. Knowing objects and materials before touching is desired by the target users but under-explored in the field of human-centered robotics. To fill this gap, in this work, a wearable vision-based robotic system, MateRobot, is established for PVI to recognize materials and object categories beforehand. To address the computational constraints of mobile platforms, we propose a lightweight yet accurate model MateViT to perform pixel-wise semantic segmentation, simultaneously recognizing both objects and materials. Our methods achieve respective 40.2% and 51.1% of mIoU on COCOStuff-10K and DMS datasets, surpassing the previous method with +5.7% and +7.0% gains. Moreover, on the field test with participants, our wearable system reaches a score of 28 in the NASA-Task Load Index, indicating low cognitive demands and ease of use. Our MateRobot demonstrates the feasibility of recognizing material property through visual cues and offers a promising step towards improving the functionality of wearable robots for PVI. The source code has been made publicly available at https://junweizheng93.github.io/publications/MATERobot/MATERobot.html.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google