Enhancing License Plate Super-Resolution: A Layout-Aware and Character-Driven Approach

要約

ディープラーニングによるナンバープレート認識 (LPR) の大幅な進歩にも関わらず、ほとんどの改善は鮮明な文字を含む高解像度の画像に依存しています。
このシナリオは、交通監視が低解像度でぼやけた画像をキャプチャすることが多い現実世界の状況を反映していません。
このような状況では、キャラクターが背景や隣接するキャラクターと混ざる傾向があり、正確な LPR が困難になります。
この問題に対処するために、LPR タスク自体のパフォーマンスだけでなく、解像度、テクスチャ、構造の詳細などの要素を考慮する新しい損失関数、Layout and Character Oriented Focal Loss (LCOFL) を導入します。
アテンション モジュールで変形可能な畳み込みと共有重みを使用して文字特徴の学習を強化し、超解像プロセスをガイドするための識別器として光学式文字認識 (OCR) モデルを使用した GAN ベースのトレーニング アプローチを採用しています。
私たちの実験結果は、文字再構成の品質が大幅に向上し、定量的および定性的測定の両方で 2 つの最先端の方法を上回っていることを示しています。
私たちのコードは https://github.com/valfride/lpsr-lacd で公開されています。

要約(オリジナル)

Despite significant advancements in License Plate Recognition (LPR) through deep learning, most improvements rely on high-resolution images with clear characters. This scenario does not reflect real-world conditions where traffic surveillance often captures low-resolution and blurry images. Under these conditions, characters tend to blend with the background or neighboring characters, making accurate LPR challenging. To address this issue, we introduce a novel loss function, Layout and Character Oriented Focal Loss (LCOFL), which considers factors such as resolution, texture, and structural details, as well as the performance of the LPR task itself. We enhance character feature learning using deformable convolutions and shared weights in an attention module and employ a GAN-based training approach with an Optical Character Recognition (OCR) model as the discriminator to guide the super-resolution process. Our experimental results show significant improvements in character reconstruction quality, outperforming two state-of-the-art methods in both quantitative and qualitative measures. Our code is publicly available at https://github.com/valfride/lpsr-lacd

arxiv情報

提供元, 利用サービス

arxiv.jp, Google