HRScene: How Far Are VLMs from Effective High-Resolution Image Understanding?

要約

高解像度の画像（HRI）理解は、病理学的画像や農業航空画像など、多数のピクセルで画像を処理することを目的としています。どちらも100万ピクセルを超える可能性があります。
Vision Large Language Models（VLMS）はHRIを処理できると言われていますが、HRIの理解を評価するための包括的なベンチマークが不足しています。
このギャップに対処するために、豊富なシーンを使用したHRI理解のための新しい統一ベンチマークであるHrsceneを紹介します。
HRSceneには、1,024 $ \ Times $ 1,024から35,503 $ \ Times $ 26,627の範囲の解像度を備えた25の実世界のデータセットと2つの合成診断データセットが組み込まれています。
HRSCEENは、顕微鏡画像から放射線画像、ストリートビュー、長距離写真、望遠鏡画像に至るまで、25のシナリオをカバーする10の大学院レベルのアノテーターによって収集され、再現されます。
実世界のオブジェクトのHRI、スキャンされたドキュメント、複合マルチイメージが含まれます。
2つの診断評価データセットは、ターゲット画像とゴールドの回答とさまざまな注文の気を散らす画像を組み合わせることで合成され、HRIの領域をどの程度うまく利用するかを評価します。
Gemini 2.0 FlashやGPT-4Oを含む28のVLMを含む広範な実験を実施しています。
HRSceneの実験は、現在のVLMが実際のタスクで平均精度が約50％を達成し、HRIの理解に大きなギャップが明らかになることを示しています。
合成データセットの結果は、VLMSがHRI領域を効果的に利用するのに苦労していることを明らかにしており、将来の研究に光を当てて、地域の多様性と中に紛失したことを示しています。

要約(オリジナル)

High-resolution image (HRI) understanding aims to process images with a large number of pixels, such as pathological images and agricultural aerial images, both of which can exceed 1 million pixels. Vision Large Language Models (VLMs) can allegedly handle HRIs, however, there is a lack of a comprehensive benchmark for VLMs to evaluate HRI understanding. To address this gap, we introduce HRScene, a novel unified benchmark for HRI understanding with rich scenes. HRScene incorporates 25 real-world datasets and 2 synthetic diagnostic datasets with resolutions ranging from 1,024 $\times$ 1,024 to 35,503 $\times$ 26,627. HRScene is collected and re-annotated by 10 graduate-level annotators, covering 25 scenarios, ranging from microscopic to radiology images, street views, long-range pictures, and telescope images. It includes HRIs of real-world objects, scanned documents, and composite multi-image. The two diagnostic evaluation datasets are synthesized by combining the target image with the gold answer and distracting images in different orders, assessing how well models utilize regions in HRI. We conduct extensive experiments involving 28 VLMs, including Gemini 2.0 Flash and GPT-4o. Experiments on HRScene show that current VLMs achieve an average accuracy of around 50% on real-world tasks, revealing significant gaps in HRI understanding. Results on synthetic datasets reveal that VLMs struggle to effectively utilize HRI regions, showing significant Regional Divergence and lost-in-middle, shedding light on future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google