要約
提案するショッピングアシスタントモデルSANIPは、視覚障害者が手に持っている物体を検出し、また検出・認識された物体から取得した情報のビデオフィードバックを得ることを支援する予定である。提案モデルは、カスタムオブジェクト検出、テキスト検出、バーコード検出の3つのPythonモデルで構成されています。手持ちオブジェクトの検出には、Parle-G、Tide、Laysなどの日用品からなる独自のカスタムデータセットを作成しました。また、カートや出口標識の画像も収集しました。これは、カートを使用したり、非常時に出口標識に気づいたりするのに不可欠だからです。他の2つのモデルについては、収集したテキストとバーコードの情報をテキストから音声に変換し、視覚障害者に伝達しています。このモデルを用いて学習させた対象物を検出したところ、良好な精度と正確さで目的の出力を検出・認識することに成功しました。
要約(オリジナル)
The proposed shopping assistant model SANIP is going to help blind persons to detect hand held objects and also to get a video feedback of the information retrieved from the detected and recognized objects. The proposed model consists of three python models i.e. Custom Object Detection, Text Detection and Barcode detection. For object detection of the hand held object, we have created our own custom dataset that comprises daily goods such as Parle-G, Tide, and Lays. Other than that we have also collected images of Cart and Exit signs as it is essential for any person to use a cart and also notice the exit sign in case of emergency. For the other 2 models proposed the text and barcode information retrieved is converted from text to speech and relayed to the Blind person. The model was used to detect objects that were trained on and was successful in detecting and recognizing the desired output with a good accuracy and precision.
arxiv情報
| 著者 | Shubham Deshmukh,Favin Fernandes,Amey Chavan,Monali Ahire,Devashri Borse,Jyoti Madake |
| 発行日 | 2022-09-08 05:35:03+00:00 |
| arxivサイト | arxiv_id(pdf) |