要約
大規模言語モデル (LLM) の急速な進歩により、多言語サポートからドメイン固有のタスクやマルチモーダル統合に至るまで、そのアプリケーションが大幅に拡張されました。
このペーパーでは、多言語、マルチドメイン、マルチモーダル機能にわたる LLM とそのオムニ拡張を評価するために設計された新しいベンチマーク ツールボックスである OmniEvalKit について紹介します。
単一の側面に焦点を当てていることが多い既存のベンチマークとは異なり、OmniEvalKit は、モジュール式で軽量な自動評価システムを提供します。
静的ビルダーと動的データ フローで構成されるモジュラー アーキテクチャで構造化されており、新しいモデルとデータセットのシームレスな統合を促進します。
OmniEvalKit は、100 を超える LLM と 50 の評価データセットをサポートし、数千のモデルとデータセットの組み合わせにわたる包括的な評価をカバーします。
OmniEvalKit は、超軽量で迅速に導入可能な評価フレームワークの作成に特化しており、AI コミュニティにとってダウンストリーム アプリケーションをより便利で汎用性の高いものにします。
要約(オリジナル)
The rapid advancements in Large Language Models (LLMs) have significantly expanded their applications, ranging from multilingual support to domain-specific tasks and multimodal integration. In this paper, we present OmniEvalKit, a novel benchmarking toolbox designed to evaluate LLMs and their omni-extensions across multilingual, multidomain, and multimodal capabilities. Unlike existing benchmarks that often focus on a single aspect, OmniEvalKit provides a modular, lightweight, and automated evaluation system. It is structured with a modular architecture comprising a Static Builder and Dynamic Data Flow, promoting the seamless integration of new models and datasets. OmniEvalKit supports over 100 LLMs and 50 evaluation datasets, covering comprehensive evaluations across thousands of model-dataset combinations. OmniEvalKit is dedicated to creating an ultra-lightweight and fast-deployable evaluation framework, making downstream applications more convenient and versatile for the AI community.
arxiv情報
| 著者 | Yi-Kai Zhang,Xu-Xiang Zhong,Shiyin Lu,Qing-Guo Chen,De-Chuan Zhan,Han-Jia Ye |
| 発行日 | 2024-12-09 17:39:43+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google