Object Recognition System on a Tactile Device for Visually Impaired

要約

視覚障害を持つ人々は、環境と対話する際に多くの課題に直面します。
私たちの目的は、視覚障害のある人とその周囲との間のコミュニケーションを容易にするデバイスを開発することです。
このデバイスは視覚情報を聴覚フィードバックに変換し、ユーザーが感覚のニーズに合った方法で環境を理解できるようにします。
最初に、物体検出モデルは、精度と、時間や消費電力などのコストの考慮事項に基づいて、既存の機械学習モデルから選択されます。
選択したモデルは、特別に設計された触覚デバイスに接続された Raspberry Pi に実装されます。
デバイスの特定の位置がタッチされると、対応するシーン内のその位置に存在するオブジェクトの識別情報を視覚障害者に伝える音声信号が提供されます。
実施されたテストでは、テレビ、コンピュータ、携帯電話などの画面コンテンツだけでなく、静的または動的オブジェクトを含むシーンの理解におけるこのデバイスの有効性が実証されています。

要約(オリジナル)

People with visual impairments face numerous challenges when interacting with their environment. Our objective is to develop a device that facilitates communication between individuals with visual impairments and their surroundings. The device will convert visual information into auditory feedback, enabling users to understand their environment in a way that suits their sensory needs. Initially, an object detection model is selected from existing machine learning models based on its accuracy and cost considerations, including time and power consumption. The chosen model is then implemented on a Raspberry Pi, which is connected to a specifically designed tactile device. When the device is touched at a specific position, it provides an audio signal that communicates the identification of the object present in the scene at that corresponding position to the visually impaired individual. Conducted tests have demonstrated the effectiveness of this device in scene understanding, encompassing static or dynamic objects, as well as screen contents such as TVs, computers, and mobile phones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google