Viia-hand: a Reach-and-grasp Restoration System Integrating Voice interaction, Computer vision and Auditory feedback for Blind Amputees

要約

視覚的フィードバックは、義肢制御の分野で切断患者が把握を完了するプロセスにおいて重要な役割を果たします。
しかし、全盲および視覚障害者（BVI）の切断者にとっては、視覚能力と把握能力の両方が失われているため、手を伸ばして掴むという「簡単な」作業は実現可能な課題となります。
この論文では、BVI切断患者の感知、ナビゲーション、把握操作を支援する新しい多感覚義足システムを提案します。
音声インタラクション、環境認識、把握ガイダンス、協調制御、聴覚/触覚フィードバックのモジュールを組み合わせています。
特に、音声対話モジュールはユーザーの指示を受け取り、その指示に従って他の機能モジュールを呼び出します。
環境知覚・把握誘導モジュールは、コンピュータビジョンを通じて環境情報を取得し、聴覚フィードバックモジュール（音声プロンプトや空間音源）や触覚フィードバックモジュール（振動刺激）を通じてユーザーに情報をフィードバックします。
義足協調制御モジュールは、把持誘導プロセスのコンテキスト情報を取得し、ユーザーの制御意図と連動して義肢の把持ジェスチャと手首角度の協調制御を完了し、さまざまなオブジェクトの安定した把持を実現します。
この論文では、プロトタイピング設計 (viia-hand と呼ばれる) について詳しく説明し、特定の手を伸ばして掴むタスクを完了する健康な被験者での予備的な実験検証を示します。
私たちの結果は、新しい設計の助けを借りて、被験者が比較的乱雑な環境でも対象物を正確に到達し、確実に把握できることを示しました。
さらに、このシステムは非常に使いやすく、ユーザーは最小限のトレーニングですぐに慣れることができます。

要約(オリジナル)

Visual feedback plays a crucial role in the process of amputation patients completing grasping in the field of prosthesis control. However, for blind and visually impaired (BVI) amputees, the loss of both visual and grasping abilities makes the ‘easy’ reach-and-grasp task a feasible challenge. In this paper, we propose a novel multi-sensory prosthesis system helping BVI amputees with sensing, navigation and grasp operations. It combines modules of voice interaction, environmental perception, grasp guidance, collaborative control, and auditory/tactile feedback. In particular, the voice interaction module receives user instructions and invokes other functional modules according to the instructions. The environmental perception and grasp guidance module obtains environmental information through computer vision, and feedbacks the information to the user through auditory feedback modules (voice prompts and spatial sound sources) and tactile feedback modules (vibration stimulation). The prosthesis collaborative control module obtains the context information of the grasp guidance process and completes the collaborative control of grasp gestures and wrist angles of prosthesis in conjunction with the user’s control intention in order to achieve stable grasp of various objects. This paper details a prototyping design (named viia-hand) and presents its preliminary experimental verification on healthy subjects completing specific reach-and-grasp tasks. Our results showed that, with the help of our new design, the subjects were able to achieve a precise reach and reliable grasp of the target objects in a relatively cluttered environment. Additionally, the system is extremely user-friendly, as users can quickly adapt to it with minimal training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google