Detection of Furigana Text in Images

要約

ふりがなは、日本語の書き方で使われる発音のメモです。
これらを検出できると、ふりがなを正しく表示することで、光学式文字認識（OCR）のパフォーマンスを向上させたり、日本語の筆記メディアのより正確なデジタルコピーを作成したりできます。
このプロジェクトは、日本の本や漫画でふりがなを検出することに焦点を当てています。
一般的に日本語のテキストの検出に関する研究が行われていますが、現在、ふりがなを検出するための提案された方法はありません。
日本語の書かれたメディアとふりがなの注釈を含む新しいデータセットを構築します。
オブジェクトのグループに1つの注釈でラベルを付けることができることを除いて、オブジェクト検出で使用される評価プロトコルと同様のデータの評価メトリックを提案します。
数理形態学と連結成分分析に基づくふりがなの検出方法を提案します。
データセットの検出を評価し、テキスト抽出のさまざまな方法を比較します。
また、本や漫画などのさまざまな種類の画像を個別に評価し、それぞれの種類の画像の課題について話し合います。
提案された方法は、データセットで76 \％のF1スコアに達します。
この方法は、通常の本ではうまく機能しますが、漫画や不規則な形式の本ではあまり機能しません。
最後に、提案された方法がmanga109データセットでOCRのパフォーマンスを5 \％改善できることを示します。
ソースコードは\texttt{\url{https://github.com/nikolajkb/FuriganaDetection}}から入手できます。

要約(オリジナル)

Furigana are pronunciation notes used in Japanese writing. Being able to detect these can help improve optical character recognition (OCR) performance or make more accurate digital copies of Japanese written media by correctly displaying furigana. This project focuses on detecting furigana in Japanese books and comics. While there has been research into the detection of Japanese text in general, there are currently no proposed methods for detecting furigana. We construct a new dataset containing Japanese written media and annotations of furigana. We propose an evaluation metric for such data which is similar to the evaluation protocols used in object detection except that it allows groups of objects to be labeled by one annotation. We propose a method for detection of furigana that is based on mathematical morphology and connected component analysis. We evaluate the detections of the dataset and compare different methods for text extraction. We also evaluate different types of images such as books and comics individually and discuss the challenges of each type of image. The proposed method reaches an F1-score of 76\% on the dataset. The method performs well on regular books, but less so on comics, and books of irregular format. Finally, we show that the proposed method can improve the performance of OCR by 5\% on the manga109 dataset. Source code is available via \texttt{\url{https://github.com/nikolajkb/FuriganaDetection}}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google