Diffusion Models with Anisotropic Gaussian Splatting for Image Inpainting

要約

画像のインペインティングはコンピュータビジョンにおける基本的なタスクであり、画像の欠損領域や破損領域をリアルに復元することを目的としている。最近のディープラーニングアプローチは最先端の技術を大幅に進歩させたが、特に大きな欠損領域において、構造の連続性を維持し、首尾一貫したテクスチャを生成することに課題が残っている。拡散モデルは忠実度の高い画像を生成する上で有望であるが、現実的なインペインティングに必要な構造的ガイダンスが欠如していることが多い。我々は、拡散モデルと異方性ガウススプラッティングを組み合わせ、局所構造とグローバルコンテキストの両方を効果的に捉える新しいインペインティング手法を提案する。局所的な画像勾配に適応する異方性ガウス関数を用いて欠損領域をモデル化することで、我々のアプローチは拡散ベースのインペインティングネットワークに構造的なガイダンスを提供する。ガウススプラットマップは拡散プロセスに統合され、高忠実度で構造的に一貫性のあるインペインティング結果を生成するモデルの能力を向上させる。広範な実験により、我々の手法が最先端の技術を凌駕し、構造の完全性とテクスチャのリアリズムを向上させた、視覚的にもっともらしい結果を生成することが実証された。

要約(オリジナル)

Image inpainting is a fundamental task in computer vision, aiming to restore missing or corrupted regions in images realistically. While recent deep learning approaches have significantly advanced the state-of-the-art, challenges remain in maintaining structural continuity and generating coherent textures, particularly in large missing areas. Diffusion models have shown promise in generating high-fidelity images but often lack the structural guidance necessary for realistic inpainting. We propose a novel inpainting method that combines diffusion models with anisotropic Gaussian splatting to capture both local structures and global context effectively. By modeling missing regions using anisotropic Gaussian functions that adapt to local image gradients, our approach provides structural guidance to the diffusion-based inpainting network. The Gaussian splat maps are integrated into the diffusion process, enhancing the model’s ability to generate high-fidelity and structurally coherent inpainting results. Extensive experiments demonstrate that our method outperforms state-of-the-art techniques, producing visually plausible results with enhanced structural integrity and texture realism.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL