MOoSE: Multi-Orientation Sharing Experts for Open-set Scene Text Recognition

要約

新しい文字と以前に見た文字の両方に対処することを目的としたオープンセット テキスト認識は、テキスト認識分野で注目されているサブトピックの 1 つです。
しかし、現在のオープンセットのテキスト認識ソリューションは横書きテキストのみに焦点を当てており、現実世界のシーンのテキストにおけるさまざまな書き込み方向によってもたらされる現実の課題をモデル化できません。
一般に、複数方向のテキスト認識は、画像のアスペクト比の多様さ、データ量の大幅な不均衡、および方向間の領域ギャップによる課題に直面しています。
この研究では、まず、小説の登場人物と執筆方向の多様性の両方の課題をモデル化するために、多指向オープンセット テキスト認識タスク (MOOSTR) を提案します。
次に、強力なベースライン ソリューションとして Multi-Orientation Sharing Experts (MOoSE) フレームワークを提案します。
MOoSE は、専門家の混合スキームを使用して方向性間のドメインのギャップを軽減すると同時に、専門家間の共通の構造知識を活用して一部の専門家が直面するデータ不足を軽減します。
提案された MOoSE フレームワークはアブレーション実験によって検証され、既存のオープンセット ベンチマークでの実現可能性もテストされています。
コード、モデル、ドキュメントは https://github.com/lancercat/Moose/ から入手できます。

要約(オリジナル)

Open-set text recognition, which aims to address both novel characters and previously seen ones, is one of the rising subtopics in the text recognition field. However, the current open-set text recognition solutions only focuses on horizontal text, which fail to model the real-life challenges posed by the variety of writing directions in real-world scene text. Multi-orientation text recognition, in general, faces challenges from the diverse image aspect ratios, significant imbalance in data amount, and domain gaps between orientations. In this work, we first propose a Multi-Oriented Open-Set Text Recognition task (MOOSTR) to model the challenges of both novel characters and writing direction variety. We then propose a Multi-Orientation Sharing Experts (MOoSE) framework as a strong baseline solution. MOoSE uses a mixture-of-experts scheme to alleviate the domain gaps between orientations, while exploiting common structural knowledge among experts to alleviate the data scarcity that some experts face. The proposed MOoSE framework is validated by ablative experiments, and also tested for feasibility on the existing open-set benchmark. Code, models, and documents are available at: https://github.com/lancercat/Moose/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google