ESDiff: Encoding Strategy-inspired Diffusion Model with Few-shot Learning for Color Image Inpainting

要約

画像Inpaintingは、画像の欠落または損傷した領域を復元するために使用される手法です。
従来の方法は、主に、欠落している領域を再構築するために隣接するピクセルからの情報を利用していますが、それらは複雑な詳細と構造を維持するのに苦労しています。
同時に、深い学習に基づくモデルは、かなりの量のトレーニングデータを必要とします。
この課題に対処するために、このホワイトペーパーでは、カラーイメージの入門の少数の学習を備えたエンコード戦略に触発された拡散モデルを提案しています。
この新しいエンコーディング戦略の主なアイデアは、チャネル間の相互摂動を通じて高次元オブジェクトを構築するための「仮想マスク」の展開です。
このアプローチにより、拡散モデルは、限られたトレーニングサンプルから多様な画像表現と詳細な機能をキャプチャできます。
さらに、エンコーディング戦略は、チャネル間の冗長性を活用し、反復的なインペインティング中に低ランクの方法と統合し、拡散モデルを組み込んで正確な情報出力を実現します。
実験結果は、私たちの方法が定量的メトリックの現在の手法を超えており、再構築された画像の品質がテクスチャと構造の完全性の側面で改善され、より正確でコヒーレントな結果につながることを示しています。

要約(オリジナル)

Image inpainting is a technique used to restore missing or damaged regions of an image. Traditional methods primarily utilize information from adjacent pixels for reconstructing missing areas, while they struggle to preserve complex details and structures. Simultaneously, models based on deep learning necessitate substantial amounts of training data. To address this challenge, an encoding strategy-inspired diffusion model with few-shot learning for color image inpainting is proposed in this paper. The main idea of this novel encoding strategy is the deployment of a ‘virtual mask’ to construct high-dimensional objects through mutual perturbations between channels. This approach enables the diffusion model to capture diverse image representations and detailed features from limited training samples. Moreover, the encoding strategy leverages redundancy between channels, integrates with low-rank methods during iterative inpainting, and incorporates the diffusion model to achieve accurate information output. Experimental results indicate that our method exceeds current techniques in quantitative metrics, and the reconstructed images quality has been improved in aspects of texture and structural integrity, leading to more precise and coherent results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google