AesBench: An Expert Benchmark for Multimodal Large Language Models on Image Aesthetics Perception

要約

集団的な努力により、マルチモーダル大規模言語モデル (MLLM) の開発が盛んに行われています。
ただし、画像の美的知覚に関するパフォーマンスは不確定なままであり、現実世界のアプリケーションではこれが非常に望まれています。
明らかな障害は、美的知覚に対する MLLM の有効性を評価するための特定のベンチマークが存在しないことです。
この盲目的な模索は、美的知覚能力を備えたより高度なMLLMのさらなる開発を妨げる可能性があります。
このジレンマに対処するために、私たちは、2 つの側面にわたる精緻な設計を通じて MLLM の美的知覚能力を包括的に評価することを目的とした専門ベンチマークである AesBench を提案します。
(1) 専門的な美的専門家による多様な画像コンテンツと高品質なアノテーションを特徴とする、専門家ラベル付き美的認識データベース（EAPD）を構築します。
（2）我々は、知覚（AesP）、共感（AesE）、評価（AesA）、解釈（AesI）を含む4つの観点からMLLMの美的知覚能力を測定するための一連の統合的な基準を提案します。
広範な実験結果は、現在のMLLMは初歩的な美的知覚能力しか持たず、MLLMと人間の間には依然として大きなギャップがあることを強調しています。
私たちは、この研究がコミュニティに刺激を与え、MLLM の美的可能性についてのより深い探求に参加できることを願っています。
ソースデータは https://github.com/yipoh/AesBench で入手できます。

要約(オリジナル)

With collective endeavors, multimodal large language models (MLLMs) are undergoing a flourishing development. However, their performances on image aesthetics perception remain indeterminate, which is highly desired in real-world applications. An obvious obstacle lies in the absence of a specific benchmark to evaluate the effectiveness of MLLMs on aesthetic perception. This blind groping may impede the further development of more advanced MLLMs with aesthetic perception capacity. To address this dilemma, we propose AesBench, an expert benchmark aiming to comprehensively evaluate the aesthetic perception capacities of MLLMs through elaborate design across dual facets. (1) We construct an Expert-labeled Aesthetics Perception Database (EAPD), which features diversified image contents and high-quality annotations provided by professional aesthetic experts. (2) We propose a set of integrative criteria to measure the aesthetic perception abilities of MLLMs from four perspectives, including Perception (AesP), Empathy (AesE), Assessment (AesA) and Interpretation (AesI). Extensive experimental results underscore that the current MLLMs only possess rudimentary aesthetic perception ability, and there is still a significant gap between MLLMs and humans. We hope this work can inspire the community to engage in deeper explorations on the aesthetic potentials of MLLMs. Source data will be available at https://github.com/yipoh/AesBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google