What Limits Virtual Agent Application? OmniBench: A Scalable Multi-Dimensional Benchmark for Essential Virtual Agent Capabilities

要約

マルチモーダルの大手言語モデル（MLLMS）が進むにつれて、MLLMベースの仮想エージェントは顕著なパフォーマンスを実証しています。
ただし、既存のベンチマークは、制御できないタスクの複雑さ、限られたシナリオを備えた広範な手動注釈、多次元評価の欠如など、大きな制限に直面しています。
これらの課題に応えて、サブタスク構成を通じて制御可能な複雑さのタスクを合成するための自動パイプラインを備えた自己生成のクロスプラットフォームのグラフベースのベンチマークであるオムニベンチを導入します。
グラフ上の仮想エージェントの多様な機能を評価するために、さらに、10の機能にわたるサブタスクレベルの評価、グラフベースのメトリック、包括的なテストを含む多次元評価フレームワークであるOmnievalをさらに紹介します。
合成されたデータセットには、20のシナリオにわたって36Kグラフ構造のタスクが含まれており、91 \％の人間の受け入れ率が達成されています。
グラフ構造化データのトレーニングは、手動で注釈されたデータと比較して、エージェントをより効率的にガイドできることを示しています。
さまざまなオープンソースおよびクローズドソースモデルに対して多次元評価を実施し、さまざまな機能にわたるパフォーマンスを明らかにし、将来の進歩への道を開きます。
当社のプロジェクトは、https：//omni-bench.github.io/で入手できます。

要約(オリジナル)

As multimodal large language models (MLLMs) advance, MLLM-based virtual agents have demonstrated remarkable performance. However, existing benchmarks face significant limitations, including uncontrollable task complexity, extensive manual annotation with limited scenarios, and a lack of multidimensional evaluation. In response to these challenges, we introduce OmniBench, a self-generating, cross-platform, graph-based benchmark with an automated pipeline for synthesizing tasks of controllable complexity through subtask composition. To evaluate the diverse capabilities of virtual agents on the graph, we further present OmniEval, a multidimensional evaluation framework that includes subtask-level evaluation, graph-based metrics, and comprehensive tests across 10 capabilities. Our synthesized dataset contains 36k graph-structured tasks across 20 scenarios, achieving a 91\% human acceptance rate. Training on our graph-structured data shows that it can more efficiently guide agents compared to manually annotated data. We conduct multidimensional evaluations for various open-source and closed-source models, revealing their performance across various capabilities and paving the way for future advancements. Our project is available at https://omni-bench.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google