m&m’s: A Benchmark to Evaluate Tool-Use for multi-step multi-modal Tasks

要約

現実世界のマルチモーダルな問題は、単一の機械学習モデルで解決されることはほとんどなく、多くの場合、複数のモデルをつなぎ合わせる複数ステップの計算計画が必要になります。
ツール拡張 LLM は、このような計算計画の生成を自動化する上で大きな期待を抱いています。
ただし、マルチステップ、マルチモーダル タスクのプランナーとして LLM を評価するための標準化されたベンチマークが存在しないため、プランナー設計の決定に関する体系的な研究が妨げられています。
LLM は完全な計画を一度に作成する必要がありますか、それとも段階的に作成する必要がありますか?
Python コードを使用してツールを直接呼び出す必要がありますか、それとも JSON などの構造化データ形式を使用して呼び出す必要がありますか?
フィードバックは計画を改善しますか?
これらの質問などに答えるために、m&m’s を紹介します。これは、マルチモーダル モデル、(無料) パブリック API、画像処理モジュールを含む 33 のツールを含む 4K+ マルチステップ マルチモーダル タスクを含むベンチマークです。
これらのタスク クエリごとに、この現実的なツールセットを使用して自動的に生成された計画を提供します。
さらに、人間によって検証され、正しく実行可能な 1,565 のタスク プランの高品質なサブセットも提供します。
m&m’s では、2 つの計画戦略 (マルチステップ計画とステップバイステップ計画)、2 つの計画形式 (JSON 対コード)、および 3 種類のフィードバック (解析/検証/実行) を備えた 6 つの人気のある LLM を評価します。
最後に、広範な実験から得た知見をまとめます。
私たちのデータセットとコードは、HuggingFace (https://huggingface.co/datasets/zixianma/mnms) および Github (https://github.com/RAIVNLab/mnms) で入手できます。

要約(オリジナル)

Real-world multi-modal problems are rarely solved by a single machine learning model, and often require multi-step computational plans that involve stitching several models. Tool-augmented LLMs hold tremendous promise for automating the generation of such computational plans. However, the lack of standardized benchmarks for evaluating LLMs as planners for multi-step multi-modal tasks has prevented a systematic study of planner design decisions. Should LLMs generate a full plan in a single shot or step-by-step? Should they invoke tools directly with Python code or through structured data formats like JSON? Does feedback improve planning? To answer these questions and more, we introduce m&m’s: a benchmark containing 4K+ multi-step multi-modal tasks involving 33 tools that include multi-modal models, (free) public APIs, and image processing modules. For each of these task queries, we provide automatically generated plans using this realistic toolset. We further provide a high-quality subset of 1,565 task plans that are human-verified and correctly executable. With m&m’s, we evaluate 6 popular LLMs with 2 planning strategies (multi-step vs. step-by-step planning), 2 plan formats (JSON vs. code), and 3 types of feedback (parsing/verification/execution). Finally, we summarize takeaways from our extensive experiments. Our dataset and code are available on HuggingFace (https://huggingface.co/datasets/zixianma/mnms) and Github (https://github.com/RAIVNLab/mnms).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google