SciFIBench: Benchmarking Large Multimodal Models for Scientific Figure Interpretation

要約

大規模マルチモーダル モデル (LMM) は、多くのタスクや分野にわたって柔軟で一般化できることが証明されています。
それらは科学研究を助ける強力な潜在力を持っていますが、この分野におけるそれらの能力は十分に特徴付けられていません。
科学研究の重要な側面は、複雑な情報の豊富で圧縮された情報源として機能する図を理解し解釈する能力です。
この研究では、8 カテゴリにわたる 2 つのタスクに分割された 2000 の質問で構成される科学図解釈ベンチマークである SciFIBench を紹介します。
質問は、arXiv の論文の図とキャプションから厳選され、敵対的フィルタリングを使用してハード ネガを見つけ、品質管理のために人による検証が行われます。
SciFIBench で 28 個の LMM を評価しましたが、これは難しいベンチマークであることがわかりました。
最後に、ベンチマークからの拡張質問セットに対する LMM の整合性と推論の忠実性を調査します。
この分野の進歩を促進するために、私たちは SciFIBench をリリースします。

要約(オリジナル)

Large multimodal models (LMMs) have proven flexible and generalisable across many tasks and fields. Although they have strong potential to aid scientific research, their capabilities in this domain are not well characterised. A key aspect of scientific research is the ability to understand and interpret figures, which serve as a rich, compressed source of complex information. In this work, we present SciFIBench, a scientific figure interpretation benchmark consisting of 2000 questions split between two tasks across 8 categories. The questions are curated from arXiv paper figures and captions, using adversarial filtering to find hard negatives and human verification for quality control. We evaluate 28 LMMs on SciFIBench, finding it to be a challenging benchmark. Finally, we investigate the alignment and reasoning faithfulness of the LMMs on augmented question sets from our benchmark. We release SciFIBench to encourage progress in this domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google