CameraBench: Benchmarking Visual Reasoning in MLLMs via Photography

要約

大規模な言語モデル（LLMS）およびマルチモーダル大型言語モデル（MLLM）には、人工知能が大幅に進歩しています。
ただし、視覚的な推論、視覚的入力とテキストの両方の入力を含む推論は、採用されていないままです。
Openai O1やGemini 2.0のフラッシュ思考などの推論モデルを含む最近の進歩は、この機能を開きました。
この進行中の作業では、写真はカメラパラメーターとの相互作用の基礎となる物理学（つまり、照明、ぼやけ程度など）が視覚的なスナップショットであるため、写真関連のタスクに特に焦点を当てています。
これらの数値カメラ設定を識別するために写真の視覚情報から成功裏に推論するには、MLLMが正確な視覚的理解のために基礎となる物理学をより深く理解する必要があります。
MLLMSは、視覚言語モデル（VLM）に以前に提案されていた方法論を拡張し、数値カメラ設定に関連する視覚的な違いを区別する能力について評価することを目指しています。
私たちの予備的な結果は、写真関連のタスクにおける視覚的推論の重要性を示しています。
さらに、これらの結果は、すべての評価タスクにわたって一貫して支配的な単一のMLLMがないことを示しており、より良い視覚的推論でMLLMを開発する際に継続的な課題と機会を示しています。

要約(オリジナル)

Large language models (LLMs) and multimodal large language models (MLLMs) have significantly advanced artificial intelligence. However, visual reasoning, reasoning involving both visual and textual inputs, remains underexplored. Recent advancements, including the reasoning models like OpenAI o1 and Gemini 2.0 Flash Thinking, which incorporate image inputs, have opened this capability. In this ongoing work, we focus specifically on photography-related tasks because a photo is a visual snapshot of the physical world where the underlying physics (i.e., illumination, blur extent, etc.) interplay with the camera parameters. Successfully reasoning from the visual information of a photo to identify these numerical camera settings requires the MLLMs to have a deeper understanding of the underlying physics for precise visual comprehension, representing a challenging and intelligent capability essential for practical applications like photography assistant agents. We aim to evaluate MLLMs on their ability to distinguish visual differences related to numerical camera settings, extending a methodology previously proposed for vision-language models (VLMs). Our preliminary results demonstrate the importance of visual reasoning in photography-related tasks. Moreover, these results show that no single MLLM consistently dominates across all evaluation tasks, demonstrating ongoing challenges and opportunities in developing MLLMs with better visual reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google