Adaptation of the super resolution SOTA for Art Restoration in camera capture images

要約

文化遺産の保存は最も重要です。
美術品修復の分野では、美術品の劣化した画像を効果的に復元できるコンピュータ ビジョン モデルの開発は困難でしたが、現在では優れた最先端のコンピュータ ビジョンが完成しました。
従来の修復方法は多くの場合時間がかかり、広範な専門知識が必要です。
この研究の目的は、コンピュータ ビジョン モデルに基づいて、劣化したアートワークを強化および再構築し、元の特性やアーティファクトを維持しながら視覚的な品質を向上させることができる自動化されたソリューションを設計することです。
モデルは、ノイズ、ぼやけ、傷、退色、その他の一般的な形式の劣化を含むがこれらに限定されない、さまざまな種類の劣化を処理する必要があります。
当社は、拡散モデル (DM) に基づいた画像超解像度の最新技術を適用し、画像アートの修復のために微調整します。
私たちの結果は、さまざまな種類の劣化に対して複数の異なるモデルを微調整するのではなく、1 つの超解像度を微調整することを示しています。
堅牢にするために、複数のデータセットでトレーニングします。
コードリンク: https://github.com/Naagar/art_restoration_DM

要約(オリジナル)

Preserving cultural heritage is of paramount importance. In the domain of art restoration, developing a computer vision model capable of effectively restoring deteriorated images of art pieces was difficult, but now we have a good computer vision state-of-art. Traditional restoration methods are often time-consuming and require extensive expertise. The aim of this work is to design an automated solution based on computer vision models that can enhance and reconstruct degraded artworks, improving their visual quality while preserving their original characteristics and artifacts. The model should handle a diverse range of deterioration types, including but not limited to noise, blur, scratches, fading, and other common forms of degradation. We adapt the current state-of-art for the image super-resolution based on the Diffusion Model (DM) and fine-tune it for Image art restoration. Our results show that instead of fine-tunning multiple different models for different kinds of degradation, fine-tuning one super-resolution. We train it on multiple datasets to make it robust. code link: https://github.com/Naagar/art_restoration_DM

arxiv情報

提供元, 利用サービス

arxiv.jp, Google