Image inpainting enhancement by replacing the original mask with a self-attended region from the input image

要約

画像修復は、ピクセル情報を再構築することで画像の欠落または破損した領域を復元するプロセスであり、最近、深層学習ベースのアプローチにより大幅な進歩を遂げています。
この論文では、Vision Transformer (ViT) を利用した画像修復のための新しい深層学習ベースの前処理方法論を紹介します。
私たちのアプローチには、マスクされたピクセル値を ViT によって生成された値で置き換えることが含まれており、アテンション マトリックス内の多様な視覚パッチを活用して、識別可能な空間的特徴をキャプチャします。
私たちの知る限り、これは、画像修復タスク用にこのような前処理モデルが提案された最初の例です。
さらに、事前定義されたパッチ サイズで事前トレーニングされた ViT モデルを使用して、私たちの方法論が効果的に適用できることを示します。
提案された方法論の一般化機能を評価するために、4 つの公開データセットにわたる 4 つの標準モデルと私たちのアプローチを比較する実験結果を提供し、修復パフォーマンスの向上における前処理技術の有効性を実証します。

要約(オリジナル)

Image inpainting, the process of restoring missing or corrupted regions of an image by reconstructing pixel information, has recently seen considerable advancements through deep learning-based approaches. In this paper, we introduce a novel deep learning-based pre-processing methodology for image inpainting utilizing the Vision Transformer (ViT). Our approach involves replacing masked pixel values with those generated by the ViT, leveraging diverse visual patches within the attention matrix to capture discriminative spatial features. To the best of our knowledge, this is the first instance of such a pre-processing model being proposed for image inpainting tasks. Furthermore, we show that our methodology can be effectively applied using the pre-trained ViT model with pre-defined patch size. To evaluate the generalization capability of the proposed methodology, we provide experimental results comparing our approach with four standard models across four public datasets, demonstrating the efficacy of our pre-processing technique in enhancing inpainting performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google