Time Travel: A Comprehensive Benchmark to Evaluate LMMs on Historical and Cultural Artifacts

要約

歴史的および文化的アーティファクトを理解するには、人間の専門知識と高度な計算技術が必要ですが、このプロセスは複雑で時間型のままです。
大規模なマルチモーダルモデルは有望なサポートを提供しますが、評価と改善には標準化されたベンチマークが必要です。
これに対処するために、10の主要な歴史的地域で266の異なる文化にまたがる10,250の専門家で検証されたサンプルのベンチマークであるTimeTravelを紹介します。
原稿、作品、碑文、考古学的発見のAI駆動型分析用に設計されたTimeTravelは、分類、解釈、および履歴理解におけるAIモデルの能力を評価するための構造化されたデータセットと堅牢な評価フレームワークを提供します。
AIを歴史的研究と統合することにより、TimeTravelは、歴史家、考古学者、研究者、文化観光客向けのAI駆動のツールを促進し、貴重な洞察を抽出しながら、テクノロジーが歴史的発見と文化遺産の保存に有意義に貢献することを保証します。
TimeTravelで現代のAIモデルを評価し、その強みを強調し、改善のための領域を特定します。
私たちの目標は、AIを文化遺産を維持するための信頼できるパートナーとして確立し、技術の進歩が歴史的発見に有意義に貢献するようにすることです。
私たちのコードは、\ url {https://github.com/mbzuai-oryx/timetravel}で入手できます。

要約(オリジナル)

Understanding historical and cultural artifacts demands human expertise and advanced computational techniques, yet the process remains complex and time-intensive. While large multimodal models offer promising support, their evaluation and improvement require a standardized benchmark. To address this, we introduce TimeTravel, a benchmark of 10,250 expert-verified samples spanning 266 distinct cultures across 10 major historical regions. Designed for AI-driven analysis of manuscripts, artworks, inscriptions, and archaeological discoveries, TimeTravel provides a structured dataset and robust evaluation framework to assess AI models’ capabilities in classification, interpretation, and historical comprehension. By integrating AI with historical research, TimeTravel fosters AI-powered tools for historians, archaeologists, researchers, and cultural tourists to extract valuable insights while ensuring technology contributes meaningfully to historical discovery and cultural heritage preservation. We evaluate contemporary AI models on TimeTravel, highlighting their strengths and identifying areas for improvement. Our goal is to establish AI as a reliable partner in preserving cultural heritage, ensuring that technological advancements contribute meaningfully to historical discovery. Our code is available at: \url{https://github.com/mbzuai-oryx/TimeTravel}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google