Visual Text Meets Low-level Vision: A Comprehensive Survey on Visual Text Processing

要約

ビジュアルテキストは、文書画像と情景画像の両方において極めて重要な要素であり、コンピュータビジョンの領域において重要な注目を集めている。ビジュアルテキストの検出と認識だけでなく、ビジュアルテキスト処理の分野では、基本的な生成モデルの登場によって研究が急増している。しかし、テキストを一般的なオブジェクトと区別するユニークな特性や特徴のために、課題が残っています。我々の研究で観察されたように、これらのユニークなテキスト特性を効果的に活用することは、視覚的テキスト処理において極めて重要である。本調査では、この分野における最近の進歩について、包括的かつ多角的な分析を行う。最初に、テキスト画像の強調・復元からテキスト画像の操作に至る分野を網羅する階層的な分類法を紹介し、続いて様々な学習パラダイムを紹介する。続いて、構造、ストローク、セマンティクス、スタイル、空間コンテキストなどの特定のテキスト特徴が、様々なタスクにどのようにシームレスに統合されるかについて詳細な議論を行う。さらに、利用可能な公開データセットを探索し、広く利用されているいくつかのデータセットを用いて、レビューされた手法のベンチマークを行う。最後に、主な課題と今後の研究の可能性を明らかにする。我々の目的は、このサーベイを基本的なリソースとして確立し、ビジュアルテキスト処理のダイナミックな分野における継続的な探求と革新を促進することである。

要約(オリジナル)

Visual text, a pivotal element in both document and scene images, speaks volumes and attracts significant attention in the computer vision domain. Beyond visual text detection and recognition, the field of visual text processing has experienced a surge in research, driven by the advent of fundamental generative models. However, challenges persist due to the unique properties and features that distinguish text from general objects. Effectively leveraging these unique textual characteristics is crucial in visual text processing, as observed in our study. In this survey, we present a comprehensive, multi-perspective analysis of recent advancements in this field. Initially, we introduce a hierarchical taxonomy encompassing areas ranging from text image enhancement and restoration to text image manipulation, followed by different learning paradigms. Subsequently, we conduct an in-depth discussion of how specific textual features such as structure, stroke, semantics, style, and spatial context are seamlessly integrated into various tasks. Furthermore, we explore available public datasets and benchmark the reviewed methods on several widely-used datasets. Finally, we identify principal challenges and potential avenues for future research. Our aim is to establish this survey as a fundamental resource, fostering continued exploration and innovation in the dynamic area of visual text processing.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL