InstructRestore: Region-Customized Image Restoration with Human Instructions

要約

拡散前ベースの画像修復の大幅な進歩にもかかわらず、ほとんどの既存の方法は画像全体に均一な処理を適用し、ユーザーの指示に従って地域顧客の画像修復を実行する能力がありません。
この作業では、人間の指示に従って地域調整可能な画像修復を実行するために、新しいフレームワーク、すなわちInstructrestoreを提案します。
これを達成するために、最初にデータ生成エンジンを開発して、高品質の画像、ターゲット領域の説明、対応する領域マスクで構成されるトレーニングトリプレットを生成します。
このエンジンと慎重なデータスクリーニングにより、536,945のトリプレットを含む包括的なデータセットを構築して、このタスクのトレーニングと評価をサポートします。
次に、コントロールネットアーキテクチャの下に低品質の画像機能を統合して、画像の詳細の強化の程度を調整する方法を検討します。
その結果、ターゲット領域を識別し、ターゲット領域と周囲の領域に異なる統合スケールを割り当てるコントロールネットのようなモデルを開発し、ユーザーの命令に合わせた領域が顧客に耐える画像修復を可能にします。
実験結果は、提案されているInstructrestoreアプローチが、Bokeh効果を備えた画像やユーザーがインスナンスした局所強化など、効果的な人間に導入された画像修復を可能にすることを示しています。
私たちの仕事は、インタラクティブな画像の修復と強化技術の調査を進めています。
データ、コード、モデルは、https：//github.com/shuaizhengliu/instructrestore.gitにあります。

要約(オリジナル)

Despite the significant progress in diffusion prior-based image restoration, most existing methods apply uniform processing to the entire image, lacking the capability to perform region-customized image restoration according to user instructions. In this work, we propose a new framework, namely InstructRestore, to perform region-adjustable image restoration following human instructions. To achieve this, we first develop a data generation engine to produce training triplets, each consisting of a high-quality image, the target region description, and the corresponding region mask. With this engine and careful data screening, we construct a comprehensive dataset comprising 536,945 triplets to support the training and evaluation of this task. We then examine how to integrate the low-quality image features under the ControlNet architecture to adjust the degree of image details enhancement. Consequently, we develop a ControlNet-like model to identify the target region and allocate different integration scales to the target and surrounding regions, enabling region-customized image restoration that aligns with user instructions. Experimental results demonstrate that our proposed InstructRestore approach enables effective human-instructed image restoration, such as images with bokeh effects and user-instructed local enhancement. Our work advances the investigation of interactive image restoration and enhancement techniques. Data, code, and models will be found at https://github.com/shuaizhengliu/InstructRestore.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google