Vision-Braille: An End-to-End Tool for Chinese Braille Image-to-Text Translation

要約

視覚障害者の多くは、点字を読み書きにのみ使用することができます。
しかし、特別な教育リソースの不足が彼らを教育するためのボトルネックとなっています。
教育の公平性は、社会文明、文化的平等、個人の尊厳のレベルを反映します。
視覚障害者の生涯学習チャンネルを促進し、改善することは非常に重要です。
点字で書かれた宿題や試験問題は、特に声調記号のある中国語では、精度の高い点字翻訳システムがないため、目の見える教師には理解できません。
点字作者はスペースを節約するために声調記号を省略することがよくあり、同じ子音と母音を持つ点字を中国語に翻訳するときに混乱を引き起こします。
以前のアルゴリズムでは文脈情報の抽出が不十分であったため、中国語への点字翻訳の精度が低くなってしまいました。
このプロジェクトでは、点字から漢字への変換のためのエンコーダ/デコーダ アーキテクチャを使用して mT5 モデルを有益に微調整しました。
この研究では、ライプツィヒ コーポラから点字と対応する中国語テキストのトレーニング セットを作成しました。
このプロジェクトは点字の混乱を大幅に軽減し、カリキュラム学習の微調整方法により、検証セットとテストセットで 62.4 ドルと 62.3 ドルの BLEU スコアを達成しました。
点字認識アルゴリズムを組み込むことにより、このプロジェクトは公的に利用可能な初の点字翻訳システムとなり、中国語大学試験の準備をしている多くの視覚障害のある学生や家族に利益をもたらし、将来大学への夢を推進するのに役立ちます。
ホームページ\脚注{\url{https://vision-braille.com/}}にデモがあります。

要約(オリジナル)

Visually impaired people are a large group who can only use braille for reading and writing. However, the lack of special educational resources is the bottleneck for educating them. Educational equity is a reflection of the level of social civilization, cultural equality, and individual dignity. Facilitating and improving lifelong learning channels for the visually impaired is of great significance. Their written braille homework or exam papers cannot be understood by sighted teachers, because of the lack of a highly accurate braille translation system, especially in Chinese which has tone marks. braille writers often omit tone marks to save space, leading to confusion when braille with the same consonants and vowels is translated into Chinese. Previous algorithms were insufficient in extracting contextual information, resulting in low accuracy of braille translations into Chinese. This project informatively fine-tuned the mT5 model with an Encoder-decoder architecture for braille to Chinese character conversion. This research created a training set of braille and corresponding Chinese text from the Leipzig Corpora. This project significantly reduced the confusion in braille, achieving $62.4$ and $62.3$ BLEU scores in the validation and test sets, with a curriculum learning fine-tuning method. By incorporating the braille recognition algorithm, this project is the first publicly available braille translation system and can benefit lots of visually impaired students and families who are preparing for the Chinese College Test and help to propel their college dreams in the future. There is a demo on our homepage\footnote{\url{https://vision-braille.com/}}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google