Restoring Ancient Ideograph: A Multimodal Multitask Neural Network Approach

要約

文化遺産は、人類の思想と歴史の不朽の記録としての役割を果たします。
文化遺物の保存には多大な努力が払われているにもかかわらず、多くの古代の工芸品は自然劣化や人間の行為によって取り返しのつかないほど破壊されています。
ディープラーニング技術は、古文書の修復を含むさまざまな種類の文化遺産を修復するための貴重なツールとして登場しました。
これまでの研究では、視覚的またはテキストの観点から古文書の修復に取り組んできましたが、マルチモーダルな情報を相乗させる可能性が見落とされがちでした。
この論文は、特に表意文字を強調した古代文書を復元するための新しいマルチモーダル マルチタスク復元モデル (MMRM) を提案します。
このモデルは、コンテキストの理解と損傷した古代遺物からの残存視覚情報を組み合わせ、損傷した文字を予測し、復元された画像を同時に生成できるようにします。
私たちは、シミュレートされたデータセットと本物の古代碑文の両方で実施さ​​れた実験を通じて MMRM モデルをテストしました。
結果は、提案された方法がシミュレーション実験と現実世界のシナリオの両方で洞察力に富んだ修復提案を提供することを示しています。
私たちの知る限り、この研究は古文書復元におけるマルチモーダルディープラーニングの先駆的な応用であり、デジタル人文科学分野における古代社会と文化の理解に貢献するでしょう。

要約(オリジナル)

Cultural heritage serves as the enduring record of human thought and history. Despite significant efforts dedicated to the preservation of cultural relics, many ancient artefacts have been ravaged irreversibly by natural deterioration and human actions. Deep learning technology has emerged as a valuable tool for restoring various kinds of cultural heritages, including ancient text restoration. Previous research has approached ancient text restoration from either visual or textual perspectives, often overlooking the potential of synergizing multimodal information. This paper proposes a novel Multimodal Multitask Restoring Model (MMRM) to restore ancient texts, particularly emphasising the ideograph. This model combines context understanding with residual visual information from damaged ancient artefacts, enabling it to predict damaged characters and generate restored images simultaneously. We tested the MMRM model through experiments conducted on both simulated datasets and authentic ancient inscriptions. The results show that the proposed method gives insightful restoration suggestions in both simulation experiments and real-world scenarios. To the best of our knowledge, this work represents the pioneering application of multimodal deep learning in ancient text restoration, which will contribute to the understanding of ancient society and culture in digital humanities fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google