SVGenius: Benchmarking LLMs in SVG Understanding, Editing and Generation

要約

ラージ・ランゲージ・モデル（LLM）とマルチモーダルLLMはSVG処理に有望な能力を示しているが、既存のベンチマークは実世界の限られたカバレッジ、複雑さの階層化の欠如、断片的な評価パラダイムに悩まされている。我々はSVGeniusを紹介する。SVGeniusは、理解、編集、生成の3つの段階にわたる2,377のクエリからなる包括的なベンチマークである。SVGeniusは、体系的な複雑度階層化を持つ24のアプリケーションドメインからの実世界のデータを基に構築され、8つのタスクカテゴリと18のメトリクスを通してモデルを評価する。異なるスケール、アーキテクチャ、トレーニングパラダイム、アクセシビリティレベルにまたがる22の主流モデルを評価した。我々の分析により、プロプライエタリなモデルがオープンソースの対応するモデルを大幅に上回る一方で、全てのモデルが複雑さの増加に伴い系統的な性能劣化を示し、現在のアプローチの根本的な限界を示すことが明らかになった。SVGeniusは、SVG処理のための最初の体系的な評価フレームワークを確立し、より高性能なベクターグラフィックスモデルを開発し、自動グラフィックデザインアプリケーションを進歩させるための重要な洞察を提供する。付録と補足資料（すべてのデータとコードを含む）は、https://zju-real.github.io/SVGenius。

要約(オリジナル)

Large Language Models (LLMs) and Multimodal LLMs have shown promising capabilities for SVG processing, yet existing benchmarks suffer from limited real-world coverage, lack of complexity stratification, and fragmented evaluation paradigms. We introduce SVGenius, a comprehensive benchmark comprising 2,377 queries across three progressive dimensions: understanding, editing, and generation. Built on real-world data from 24 application domains with systematic complexity stratification, SVGenius evaluates models through 8 task categories and 18 metrics. We assess 22 mainstream models spanning different scales, architectures, training paradigms, and accessibility levels. Our analysis reveals that while proprietary models significantly outperform open-source counterparts, all models exhibit systematic performance degradation with increasing complexity, indicating fundamental limitations in current approaches; however, reasoning-enhanced training proves more effective than pure scaling for overcoming these limitations, though style transfer remains the most challenging capability across all model types. SVGenius establishes the first systematic evaluation framework for SVG processing, providing crucial insights for developing more capable vector graphics models and advancing automated graphic design applications. Appendix and supplementary materials (including all data and code) are available at https://zju-real.github.io/SVGenius.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL