DocRes: A Generalist Model Toward Unifying Document Image Restoration Tasks

要約

ドキュメント画像の品質は全体的なパフォーマンスに大きく影響するため、ドキュメント画像の復元は Document AI システムの重要な側面です。
一般的な方法では、個別の復元タスクに個別に対処するため、システムが複雑になり、マルチタスク学習の潜在的な相乗効果を活用できなくなります。
この課題を克服するために、歪み補正、陰影除去、外観強調、ぼけ除去、二値化を含む 5 つの文書画像復元タスクを統合するジェネラリスト モデルである DocRes を提案します。
DocRes にさまざまな復元タスクを実行するように指示するために、Dynamic Task-Specific Prompt (DTSPrompt) と呼ばれる新しい視覚的なプロンプト アプローチを提案します。
さまざまなタスクの DTSPrompt は、入力画像から抽出された追加の特性である個別の事前特徴で構成されます。
DTSPrompt は、タスク固有の実行の合図としての役割を超えて、モデルのパフォーマンスを向上させるための補足情報としても機能します。
さらに、DTSPrompt は、高解像度の可変解像度の入力にシームレスに適用および適応できるため、以前の視覚的なプロンプト アプローチよりも柔軟性が高くなります。
実験結果は、DocRes が既存の最先端のタスク固有モデルと比較して競合または優れたパフォーマンスを達成することを示しています。
これは、より広範囲の文書イメージ復元タスクにわたる DocRes の可能性を強調しています。
ソース コードは https://github.com/ZZZHANG-jx/DocRes で公開されています。

要約(オリジナル)

Document image restoration is a crucial aspect of Document AI systems, as the quality of document images significantly influences the overall performance. Prevailing methods address distinct restoration tasks independently, leading to intricate systems and the incapability to harness the potential synergies of multi-task learning. To overcome this challenge, we propose DocRes, a generalist model that unifies five document image restoration tasks including dewarping, deshadowing, appearance enhancement, deblurring, and binarization. To instruct DocRes to perform various restoration tasks, we propose a novel visual prompt approach called Dynamic Task-Specific Prompt (DTSPrompt). The DTSPrompt for different tasks comprises distinct prior features, which are additional characteristics extracted from the input image. Beyond its role as a cue for task-specific execution, DTSPrompt can also serve as supplementary information to enhance the model’s performance. Moreover, DTSPrompt is more flexible than prior visual prompt approaches as it can be seamlessly applied and adapted to inputs with high and variable resolutions. Experimental results demonstrate that DocRes achieves competitive or superior performance compared to existing state-of-the-art task-specific models. This underscores the potential of DocRes across a broader spectrum of document image restoration tasks. The source code is publicly available at https://github.com/ZZZHANG-jx/DocRes

arxiv情報

提供元, 利用サービス

arxiv.jp, Google