Identification of Stone Deterioration Patterns with Large Multimodal Models

要約

石をベースにした文化遺産の保存は、文化的および歴史的ランドマークを保存する上で重要な関心事です。
GPT-4omni (OpenAI)、Claude 3 Opus (Anthropic)、Gemini 1.5 Pro (Google) などの大規模マルチモーダル モデルの出現により、これらのモデルの運用能力を定義することがますます重要になってきています。
この研究では、世界遺産の保存と修復の実践に役立つ石材要素の異常と劣化パターンを認識および分類するための、主要な基礎的なマルチモーダル モデルの能力を体系的に評価します。
主な石の劣化パターンと異常の分類を定義した後、私たちは基礎モデルに、石造りの遺産の非常に代表的な 354 枚の厳選された画像を特定するよう依頼し、ラベルの慎重な選択を提供しました。
パターンの種類に応じて異なる結果により、遺産の保存と修復の分野におけるこれらのモデルの長所と短所を特定することができました。

要約(オリジナル)

The conservation of stone-based cultural heritage sites is a critical concern for preserving cultural and historical landmarks. With the advent of Large Multimodal Models, as GPT-4omni (OpenAI), Claude 3 Opus (Anthropic) and Gemini 1.5 Pro (Google), it is becoming increasingly important to define the operational capabilities of these models. In this work, we systematically evaluate the abilities of the main foundational multimodal models to recognise and classify anomalies and deterioration patterns of the stone elements that are useful in the practice of conservation and restoration of world heritage. After defining a taxonomy of the main stone deterioration patterns and anomalies, we asked the foundational models to identify a curated selection of 354 highly representative images of stone-built heritage, offering them a careful selection of labels to choose from. The result, which varies depending on the type of pattern, allowed us to identify the strengths and weaknesses of these models in the field of heritage conservation and restoration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google