TextIR: A Simple Framework for Text-based Editable Image Restoration

要約

既存の画像復元方法のほとんどは、ニューラル ネットワークを使用して、膨大なデータから強力な画像レベルの事前確率を学習し、失われた情報を推定します。
ただし、これらの作品は、画像に重大な情報欠損がある場合、依然として苦労しています。
外部事前情報を導入したり、参照画像を使用して情報を提供したりすることも、アプリケーション ドメインに制限があります。
対照的に、テキスト入力はより簡単に利用でき、より柔軟な情報を提供します。
この作業では、ユーザーが劣化した画像の復元プロセスをテキストの説明で制御できるようにする効果的なフレームワークを設計します。
テキストと画像の機能を融合する難しさを軽減するために、CLIP のテキストと画像の機能の互換性を使用します。
私たちのフレームワークは、画像の修復、画像の超解像、画像のカラー化など、さまざまな画像復元タスクに使用できます。
広範な実験により、この方法の有効性が実証されています。

要約(オリジナル)

Most existing image restoration methods use neural networks to learn strong image-level priors from huge data to estimate the lost information. However, these works still struggle in cases when images have severe information deficits. Introducing external priors or using reference images to provide information also have limitations in the application domain. In contrast, text input is more readily available and provides information with higher flexibility. In this work, we design an effective framework that allows the user to control the restoration process of degraded images with text descriptions. We use the text-image feature compatibility of the CLIP to alleviate the difficulty of fusing text and image features. Our framework can be used for various image restoration tasks, including image inpainting, image super-resolution, and image colorization. Extensive experiments demonstrate the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google