Knowledge-Aware Artifact Image Synthesis with LLM-Enhanced Prompting and Multi-Source Supervision

要約

古代の工芸品は文化の保存と修復のための重要な媒体です。
しかし、遺物の物理的なコピーの多くは破損または紛失しているため、遺物の画像生成技術を必要とする考古学および歴史研究に空白のスペースが残されています。
オープンドメインのテキストから画像への合成は大幅に進歩しているにもかかわらず、既存のアプローチでは、テキストによる説明で示される重要なドメイン知識を捕捉できず、その結果、再作成された画像に不正確な形状やパターンなどのエラーが発生します。
この論文では、失われた歴史的オブジェクトを視覚的な形式に正確に反映する、新しい知識認識型アーティファクト画像合成アプローチを提案します。
私たちは、事前トレーニング済みの拡散モデルをバックボーンとして使用し、テキストから画像への生成フレームワークを強化するための 3 つの主要な手法を導入します。 1) 大規模言語モデル (LLM) から引き出された明示的な考古学的知識を使用してプロンプトを構築します。
2) 対照的な方法で歴史的専門知識を関連付けるための追加のテキストガイダンスを組み込みます。
3) エッジと知覚の特徴に視覚的意味論的な制約をさらに導入し、モデルがアーティファクトのより複雑な視覚的詳細を学習できるようにします。
既存のアプローチと比較して、私たちが提案するモデルは、書かれた文書に含まれる暗黙の詳細や歴史的知識とよりよく一致する高品質のアーティファクト画像を生成するため、自動メトリクス全体と人間の評価において大幅な改善を達成します。
コードとデータは https://github.com/danielwusg/artifact_diffusion で入手できます。

要約(オリジナル)

Ancient artifacts are an important medium for cultural preservation and restoration. However, many physical copies of artifacts are either damaged or lost, leaving a blank space in archaeological and historical studies that calls for artifact image generation techniques. Despite the significant advancements in open-domain text-to-image synthesis, existing approaches fail to capture the important domain knowledge presented in the textual description, resulting in errors in recreated images such as incorrect shapes and patterns. In this paper, we propose a novel knowledge-aware artifact image synthesis approach that brings lost historical objects accurately into their visual forms. We use a pretrained diffusion model as backbone and introduce three key techniques to enhance the text-to-image generation framework: 1) we construct prompts with explicit archaeological knowledge elicited from large language models (LLMs); 2) we incorporate additional textual guidance to correlated historical expertise in a contrastive manner; 3) we introduce further visual-semantic constraints on edge and perceptual features that enable our model to learn more intricate visual details of the artifacts. Compared to existing approaches, our proposed model produces higher-quality artifact images that align better with the implicit details and historical knowledge contained within written documents, thus achieving significant improvements across automatic metrics and in human evaluation. Our code and data are available at https://github.com/danielwusg/artifact_diffusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google