Unwarping Screen Content Images via Structure-texture Enhancement Network and Transformation Self-estimation

要約

既存の暗黙的なニューラルネットワークベースの画像の巻き上げメソッドは、自然な画像でうまく機能しますが、画面コンテンツ画像（SCI）を処理するのに苦労します。
これに対処するために、Sci Warpingの変換の自尊心を備えた構造テクスチャーエンハンスメントネットワーク（sten）を提案します。
Stenは、Bスプラインの暗黙的な神経表現モジュールと、変換誤差推定と自己修正アルゴリズムを統合します。
2つの分岐で構成されています。構造推定ブランチ（SEB）は、局所集約とグローバル依存性モデリングを強化し、テクスチャ推定分岐（TEB）で構成され、B-SPLINE暗黙の神経表現を使用したテクスチャの詳細合成を改善します。
さらに、変換の自己推定モジュールは、変換誤差を自律的に推定し、座標変換マトリックスを修正し、実際の画像の歪みを効果的に処理します。
パブリックサイコンデータセットでの広範な実験は、私たちのアプローチが最先端の方法を大幅に上回ることを示しています。
よく知られている自然画像データセットの比較は、自然画像の歪みに対するアプローチの可能性も示しています。

要約(オリジナル)

While existing implicit neural network-based image unwarping methods perform well on natural images, they struggle to handle screen content images (SCIs), which often contain large geometric distortions, text, symbols, and sharp edges. To address this, we propose a structure-texture enhancement network (STEN) with transformation self-estimation for SCI warping. STEN integrates a B-spline implicit neural representation module and a transformation error estimation and self-correction algorithm. It comprises two branches: the structure estimation branch (SEB), which enhances local aggregation and global dependency modeling, and the texture estimation branch (TEB), which improves texture detail synthesis using B-spline implicit neural representation. Additionally, the transformation self-estimation module autonomously estimates the transformation error and corrects the coordinate transformation matrix, effectively handling real-world image distortions. Extensive experiments on public SCI datasets demonstrate that our approach significantly outperforms state-of-the-art methods. Comparisons on well-known natural image datasets also show the potential of our approach for natural image distortion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google