StructEval: Benchmarking LLMs’ Capabilities to Generate Structural Outputs

要約

大規模な言語モデル（LLM）がソフトウェア開発ワークフローに不可欠になるにつれて、構造化された出力を生成する能力が非常に重要になりました。
LLMSの機能を評価するための包括的なベンチマークであるStructEvalを紹介します。
以前のベンチマークとは異なり、Structevalは、2つのパラダイムを介して多様な形式全体で構造的忠実度を体系的に評価します。1）生成タスク、自然言語プロンプトから構造化された出力を生成し、2）コンバージョンタスク、構造化された形式間を翻訳します。
当社のベンチマークには、18の形式と44種類のタスクが含まれており、形式の順守と構造的正しさのための新しいメトリックがあります。
結果は、O1-MINIのような最先端のモデルでさえ、75.58の平均スコアしか得られず、オープンソースの代替品が約10ポイント遅れていることを明らかにしています。
生成タスクは、変換タスクよりも困難であり、テキストのみの構造を生成するよりも正しい視覚コンテンツを生成するよりも難しいと感じています。

要約(オリジナル)

As Large Language Models (LLMs) become integral to software development workflows, their ability to generate structured outputs has become critically important. We introduce StructEval, a comprehensive benchmark for evaluating LLMs’ capabilities in producing both non-renderable (JSON, YAML, CSV) and renderable (HTML, React, SVG) structured formats. Unlike prior benchmarks, StructEval systematically evaluates structural fidelity across diverse formats through two paradigms: 1) generation tasks, producing structured output from natural language prompts, and 2) conversion tasks, translating between structured formats. Our benchmark encompasses 18 formats and 44 types of task, with novel metrics for format adherence and structural correctness. Results reveal significant performance gaps, even state-of-the-art models like o1-mini achieve only 75.58 average score, with open-source alternatives lagging approximately 10 points behind. We find generation tasks more challenging than conversion tasks, and producing correct visual content more difficult than generating text-only structures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google