Portmanteauing Features for Scene Text Recognition

要約

シーンテキスト画像は様々な形状を持ち、遠近感の歪みなど、様々な歪みにさらされている。これらの課題を処理するために、最先端の手法はテキスト認識ネットワークに接続された平行化ネットワークに依存している。これらは線形パイプラインを形成し、たとえそれがなくても認識できる画像であっても、すべての入力画像にテキスト整流を使用します。確かに、整流ネットワークは全体的なテキスト認識性能を向上させる。しかし、場合によっては、整流ネットワークが画像に不要な歪みを発生させ、整流ネットワークがなければ正しいはずの画像が正しく予測されなくなることがある。この不要な歪みを緩和するために、特徴量のポルトマントー化が提案されている。ポートマントー特徴量は、ポートマントーという言葉に着想を得て、元のテキスト画像と修正後の画像の両方の情報を含む特徴量である。ポートマントー特徴量を生成するために、ブロック行列を初期化した非線形入力パイプラインが提示される。本研究では、注目の活用と固有の並列性により、ポートマントー特徴を効果的に扱える変換器を認識ネットワークとして選択する。提案手法を6つのベンチマークで検証し、13の最先端手法と比較する。実験の結果，提案手法は様々なベンチマークにおいて最先端の手法を凌駕することが示された．

要約(オリジナル)

Scene text images have different shapes and are subjected to various distortions, e.g. perspective distortions. To handle these challenges, the state-of-the-art methods rely on a rectification network, which is connected to the text recognition network. They form a linear pipeline which uses text rectification on all input images, even for images that can be recognized without it. Undoubtedly, the rectification network improves the overall text recognition performance. However, in some cases, the rectification network generates unnecessary distortions on images, resulting in incorrect predictions in images that would have otherwise been correct without it. In order to alleviate the unnecessary distortions, the portmanteauing of features is proposed. The portmanteau feature, inspired by the portmanteau word, is a feature containing information from both the original text image and the rectified image. To generate the portmanteau feature, a non-linear input pipeline with a block matrix initialization is presented. In this work, the transformer is chosen as the recognition network due to its utilization of attention and inherent parallelism, which can effectively handle the portmanteau feature. The proposed method is examined on 6 benchmarks and compared with 13 state-of-the-art methods. The experimental results show that the proposed method outperforms the state-of-the-art methods on various of the benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL