LiveXiv — A Multi-Modal Live Benchmark Based on Arxiv Papers Content

要約

Web から収集したデータに関するマルチモーダル モデルの大規模トレーニングは、複数の下流タスクを効果的に実行するために必要な世界の知識をこれらのモデルに注入する際に優れた有用性を示しています。
ただし、Web からデータをスクレイピングすることの欠点の 1 つは、これらのモデルの能力が評価されるベンチマークが犠牲になる可能性があることです。
テストデータの汚染を防ぎ、これらの基礎モデルの能力を真にテストするために、私たちは LiveXiv を提案します。これは、ArXiv の科学論文に基づいた、スケーラブルに進化するライブ ベンチマークです。
LiveXiv は、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な質問と回答のペア (VQA) を自動的に生成することを提案します。
これは、原稿内のグラフ、チャート、表などのマルチモーダル コンテンツを使用して、人間の関与なしで行われます。
さらに、モデルのサブセットのみの評価を使用して、進化するベンチマーク上のすべてのモデルのパフォーマンスを推定する効率的な評価アプローチを導入します。
これにより、全体の評価コストが大幅に削減されます。
複数のオープンかつ独自の大規模マルチモーダル モデル (LMM) をベンチマークの最初のバージョンでベンチマークし、その困難な性質を示し、モデルの真の能力を明らかにして汚染を回避します。
最後に、高品質への取り組みとして、手動で検証されたサブセットを収集して評価しました。
全体的な結果を自動アノテーションと比較すると、パフォーマンスの差異は実際に最小限 (<2.5%) であることがわかりました。 私たちのデータセットはオンラインの HuggingFace で入手でき、コードはここから入手できます。

要約(オリジナル)

The large-scale training of multi-modal models on data scraped from the web has shown outstanding utility in infusing these models with the required world knowledge to perform effectively on multiple downstream tasks. However, one downside of scraping data from the web can be the potential sacrifice of the benchmarks on which the abilities of these models are often evaluated. To safeguard against test data contamination and to truly test the abilities of these foundation models we propose LiveXiv: A scalable evolving live benchmark based on scientific ArXiv papers. LiveXiv accesses domain-specific manuscripts at any given timestamp and proposes to automatically generate visual question-answer pairs (VQA). This is done without any human-in-the-loop, using the multi-modal content in the manuscripts, like graphs, charts, and tables. Moreover, we introduce an efficient evaluation approach that estimates the performance of all models on the evolving benchmark using evaluations of only a subset of models. This significantly reduces the overall evaluation cost. We benchmark multiple open and proprietary Large Multi-modal Models (LMMs) on the first version of our benchmark, showing its challenging nature and exposing the models true abilities, avoiding contamination. Lastly, in our commitment to high quality, we have collected and evaluated a manually verified subset. By comparing its overall results to our automatic annotations, we have found that the performance variance is indeed minimal (<2.5%). Our dataset is available online on HuggingFace, and our code will be available here.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google