Diffusion-based image inpainting with internal learning

要約

拡散モデルは現在、画像生成と画像復元のための誰もが認める最先端技術です。
ただし、トレーニングと推論には大量の計算能力が必要です。
この論文では、単一の画像またはいくつかの画像でトレーニングできる画像修復用の軽量拡散モデルを提案します。
特定のケースでは、私たちのアプローチが大規模な最先端モデルと競合することを示します。
また、単一画像上でモデルをトレーニングすることが、標準的な学習データベースの RGB 画像とは異なる画像取得モダリティに特に関連していることも示します。
テクスチャ イメージ、線画イメージ、マテリアル BRDF の 3 つの異なるコンテキストで結果を示します。これにより、同時手法と比較して計算負荷が大幅に軽減され、リアリズムの点で最先端の結果が得られます。

要約(オリジナル)

Diffusion models are now the undisputed state-of-the-art for image generation and image restoration. However, they require large amounts of computational power for training and inference. In this paper, we propose lightweight diffusion models for image inpainting that can be trained on a single image, or a few images. We show that our approach competes with large state-of-the-art models in specific cases. We also show that training a model on a single image is particularly relevant for image acquisition modality that differ from the RGB images of standard learning databases. We show results in three different contexts: texture images, line drawing images, and materials BRDF, for which we achieve state-of-the-art results in terms of realism, with a computational load that is greatly reduced compared to concurrent methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google