ShelfHelp: Empowering Humans to Perform Vision-Independent Manipulation Tasks with a Socially Assistive Robotic Cane

要約

特に食料品店で自分で買い物ができることは、高い生活の質を維持するために重要です。
これは、視覚障害のある人 (PVI) にとって特に困難な場合があります。
店舗には数千の製品があり、米国市場だけでも毎年約 30,000 の新製品が導入されており、最新のコンピュータ ビジョン ソリューションにとってさえ課題となっています。
この研究を通じて、私たちは、ShelfHelp と呼ぶ社会支援ロボット システムの概念実証を提示し、伝統的にナビゲーション タスクを目的としていた計器付き杖を、ショッピングの分野での追加機能で強化するための新しい技術ソリューションを提案します。
シェルフヘルプには、食料品店で使用するために設計された新しいビジュアル製品ロケーター アルゴリズムと、製品検索中にユーザーをガイドする口頭操作ガイダンス コマンドを自律的に発行する新しいプランナーが含まれています。
人間を対象とした研究を通じて、初心者ユーザーに対して目的の製品を検索するための効果的な操作ガイダンスを提供し、その位置を特定することにこのシステムが成功していることを示します。
私たちは、人間による支援のベースラインと同等のパフォーマンスを達成する 2 つの自律音声ガイド モードを比較し、能力、知性、使いやすさなどの肯定的な主観的指標を通じて、システムの効率と有効性を検証する心強い調査結果を提示します。

要約(オリジナル)

The ability to shop independently, especially in grocery stores, is important for maintaining a high quality of life. This can be particularly challenging for people with visual impairments (PVI). Stores carry thousands of products, with approximately 30,000 new products introduced each year in the US market alone, presenting a challenge even for modern computer vision solutions. Through this work, we present a proof-of-concept socially assistive robotic system we call ShelfHelp, and propose novel technical solutions for enhancing instrumented canes traditionally meant for navigation tasks with additional capability within the domain of shopping. ShelfHelp includes a novel visual product locator algorithm designed for use in grocery stores and a novel planner that autonomously issues verbal manipulation guidance commands to guide the user during product retrieval. Through a human subjects study, we show the system’s success in locating and providing effective manipulation guidance to retrieve desired products with novice users. We compare two autonomous verbal guidance modes achieving comparable performance to a human assistance baseline and present encouraging findings that validate our system’s efficiency and effectiveness and through positive subjective metrics including competence, intelligence, and ease of use.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google