Simulating analogue film damage to analyse and improve artefact restoration on high-resolution scans

要約

アナログ写真フィルムのデジタル スキャンには、通常、ほこりや傷などのアーティファクトが含まれています。
これらの自動削除は、歴史的および文化的に重要な写真の保存と普及の重要な部分です。
最先端の深層学習モデルは、一般的な画像の修復とノイズ除去で印象的な結果を示していますが、フィルム アーティファクトの除去は十分に研究されていない問題です。
アナログ損傷の複雑な性質、フィルム スキャンの高解像度、および修復における潜在的な曖昧さのために、特に困難な要件があります。
トレーニングと評価のための現実世界のアナログ フィルム損傷の高品質のデータセットが公開されていないため、定量的な研究は不可能です。
評価のためのグラウンド トゥルース データの欠如に対処するために、4K の損傷したアナログ フィルム スキャンのデータセットを、人間の専門家によって作成された手動で復元されたバージョンと組み合わせて収集し、復元パフォーマンスの定量的評価を可能にします。
実際のひどく損傷した画像から学習したアーティファクトの形状と発生の統計モデルを使用して、損傷した画像のより大きな合成データセットをペアのきれいなバージョンで構築します。
人間の知覚研究を通じてシミュレートされた損傷のリアリズムを慎重に検証し、専門家のユーザーでさえ、人工的な損傷が実際のものと区別できないことを示しています。
さらに、合成的に損傷したデータセットを使用したトレーニングにより、以前に提案された合成アナログ損傷と比較して、アーティファクトのセグメンテーション パフォーマンスが向上することを示しています。
最後に、これらのデータセットを使用して、高解像度スキャンでの 8 つの最先端の画像復元方法のパフォーマンスをトレーニングおよび分析します。
アーティファクトを含むスキャンで修復タスクを直接実行する方法と、アーティファクトの修復のために損傷マスクを提供する必要がある方法の両方を比較します。

要約(オリジナル)

Digital scans of analogue photographic film typically contain artefacts such as dust and scratches. Automated removal of these is an important part of preservation and dissemination of photographs of historical and cultural importance. While state-of-the-art deep learning models have shown impressive results in general image inpainting and denoising, film artefact removal is an understudied problem. It has particularly challenging requirements, due to the complex nature of analogue damage, the high resolution of film scans, and potential ambiguities in the restoration. There are no publicly available high-quality datasets of real-world analogue film damage for training and evaluation, making quantitative studies impossible. We address the lack of ground-truth data for evaluation by collecting a dataset of 4K damaged analogue film scans paired with manually-restored versions produced by a human expert, allowing quantitative evaluation of restoration performance. We construct a larger synthetic dataset of damaged images with paired clean versions using a statistical model of artefact shape and occurrence learnt from real, heavily-damaged images. We carefully validate the realism of the simulated damage via a human perceptual study, showing that even expert users find our synthetic damage indistinguishable from real. In addition, we demonstrate that training with our synthetically damaged dataset leads to improved artefact segmentation performance when compared to previously proposed synthetic analogue damage. Finally, we use these datasets to train and analyse the performance of eight state-of-the-art image restoration methods on high-resolution scans. We compare both methods which directly perform the restoration task on scans with artefacts, and methods which require a damage mask to be provided for the inpainting of artefacts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google