A 3M-Hybrid Model for the Restoration of Unique Giant Murals: A Case Study on the Murals of Yongle Palace

要約

貴重な文化遺産である永楽宮の壁画はさまざまな程度の損傷を受けており、その修復が非常に重要となっています。
しかし、永楽宮の壁画の巨大なサイズと独自のデータは、既存の深層学習ベースの修復方法に課題をもたらしています。 1) 独特のスタイルにより、従来の転移学習ベースの修復方法に領域バイアスが生じ、壁画データの不足により適用性がさらに制限されます。
これらの方法のうち。
2) さらに、これらの壁画のサイズが巨大であるため、欠陥の種類とサイズの範囲が広くなり、より適応性の高いモデルが必要になります。
その結果、永楽宮のユニークな巨大壁画の深層学習ベースの修復方法には焦点が当てられていません。
ここでは、これらの課題に対処するために 3M ハイブリッド モデルを提案します。
まず、壁画データの頻度が低周波特徴と高周波特徴の分布において顕著であるという特性に基づいて、高周波特徴と低周波特徴を別々に抽出して相補学習を行う。
さらに、事前トレーニング済みのビジョン トランスフォーマー モデル (VIT) を CNN モジュールに統合し、ドメインのバイアスを軽減しながら大規模なモデルの利点を活用できるようにします。
次に、データのセグメンテーションや融合などのマルチスケールおよびマルチパースペクティブ戦略を採用することで、大きな欠陥の修復に起因する継ぎ目や構造の歪みの問題を軽減します。
実験結果は、私たちが提案したモデルの有効性を示しています。
通常サイズの壁画修復では、4 つの代表的な CNN モデルの中で最も優れたモデルと比較して、SSIM と PSNR がそれぞれ 14.61% と 4.73% 向上しました。
さらに、巨大壁画の最終修復においても良好な結果を達成します。

要約(オリジナル)

The Yongle Palace murals, as valuable cultural heritage, have suffered varying degrees of damage, making their restoration of significant importance. However, the giant size and unique data of Yongle Palace murals present challenges for existing deep-learning based restoration methods: 1) The distinctive style introduces domain bias in traditional transfer learning-based restoration methods, while the scarcity of mural data further limits the applicability of these methods. 2) Additionally, the giant size of these murals results in a wider range of defect types and sizes, necessitating models with greater adaptability. Consequently, there is a lack of focus on deep learning-based restoration methods for the unique giant murals of Yongle Palace. Here, a 3M-Hybrid model is proposed to address these challenges. Firstly, based on the characteristic that the mural data frequency is prominent in the distribution of low and high frequency features, high and low frequency features are separately abstracted for complementary learning. Furthermore, we integrate a pre-trained Vision Transformer model (VIT) into the CNN module, allowing us to leverage the benefits of a large model while mitigating domain bias. Secondly, we mitigate seam and structural distortion issues resulting from the restoration of large defects by employing a multi-scale and multi-perspective strategy, including data segmentation and fusion. Experimental results demonstrate the efficacy of our proposed model. In regular-sized mural restoration, it improves SSIM and PSNR by 14.61% and 4.73%, respectively, compared to the best model among four representative CNN models. Additionally, it achieves favorable results in the final restoration of giant murals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google