Visual Perception in Text Strings

要約

連続文字に埋め込まれた視覚的セマンティクスを理解することは、大規模言語モデル (LLM) とマルチモーダル大規模言語モデル (MLLM) の両方にとって重要な機能です。
このタイプのアーティファクトは、テキストと画像の両方で同一の情報を容易に定式化できるという独特の特性を備えており、モダリティに依存しない視覚理解における現代の LLM および MLLM の能力を分析するための重要な代用手段となっています。
この研究では、各概念を描写するために使用される線と明るさが文字によってレンダリングされるアスキー アートを代表的な成果物として選択し、問題をアスキー アート認識タスクとして組み立てます。
私たちは、精巧な分類ツリーを使用して評価データセットを構築することで、このタスクにおけるモデルのパフォーマンスをベンチマークし、モデルの視覚認識能力を引き出すためのトレーニング セットも収集します。
数十のモデルを包括的に分析した結果、人間はほぼ 100% の精度を達成できるものの、最先端の LLM および MLLM は大きく遅れをとっていることが明らかになりました。
モデルは、テキスト入力のみを与えられた場合、ASCII アートで描かれた概念を認識でき、一部の概念では 60% 以上の精度が示されますが、ほとんどのモデルは、すべてのカテゴリで平均すると約 30% の精度しか達成できません。
画像を入力として提供すると、GPT-4o は 82.68% を獲得し、最強のオープンソース MLLM を 21.95% 上回ります。
モデルは、提供されるモダリティに応じてさまざまな種類の ASCII アートを優先しますが、両方のモダリティが同時に提供されると、どの MLLM もうまく利益を得ることができません。
さらに、教師あり微調整は、特に画像モダリティが提供された場合にモデルの精度を向上させるのに役立ちますが、モダリティ間の情報融合を強化するためのより優れたトレーニング技術の必要性も強調しています。

要約(オリジナル)

Understanding visual semantics embedded in consecutive characters is a crucial capability for both large language models (LLMs) and multi-modal large language models (MLLMs). This type of artifact possesses the unique characteristic that identical information can be readily formulated in both texts and images, making them a significant proxy for analyzing modern LLMs’ and MLLMs’ capabilities in modality-agnostic vision understanding. In this work, we select ASCII art as a representative artifact, where the lines and brightness used to depict each concept are rendered by characters, and we frame the problem as an ASCII art recognition task. We benchmark model performance on this task by constructing an evaluation dataset with an elaborate categorization tree and also collect a training set to elicit the models’ visual perception ability. Through a comprehensive analysis of dozens of models, results reveal that although humans can achieve nearly 100% accuracy, the state-of-the-art LLMs and MLLMs lag far behind. Models are capable of recognizing concepts depicted in the ASCII arts given only text inputs indicated by over 60% accuracy for some concepts, but most of them achieves merely around 30% accuracy when averaged across all categories. When provided with images as inputs, GPT-4o gets 82.68%, outperforming the strongest open-source MLLM by 21.95%. Although models favor different kinds of ASCII art depending on the modality provided, none of the MLLMs successfully benefit when both modalities are supplied simultaneously. Moreover, supervised fine-tuning helps improve models’ accuracy especially when provided with the image modality, but also highlights the need for better training techniques to enhance the information fusion among modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google