The Curious Case of Nonverbal Abstract Reasoning with Multi-Modal Large Language Models

要約

大規模言語モデル (LLM) は依然として新しいドメインに採用され、新しいアプリケーションで利用されていますが、私たちは新世代の基礎モデル、つまりマルチモーダル大規模言語モデル (MLLM) の流入を経験しています。
これらのモデルは言語情報と視覚情報を統合し、2 つのモダリティの交差点でより複雑な推論能力を実証するための新たな可能性を開きます。
しかし、MLLM の革命的な見通しにもかかわらず、彼らの推論能力についての私たちの理解は限られています。
この研究では、レイブンのプログレッシブ行列のバリエーションを使用して、オープンソースおよびクローズドソースの MLLM の非言語的抽象推論能力を評価します。
私たちの実験は、MLLM にとってこのような問題の困難な性質を明らかにすると同時に、オープンソース モデルとクローズドソース モデルの間には計り知れないギャップがあることを示しています。
また、モデルのパフォーマンスが低い上限に達している、視覚的およびテキストの認識に関する重大な欠点も明らかにします。
最後に、MLLM のパフォーマンスを向上させるために、思考連鎖プロンプトなどのさまざまな方法を実験し、パフォーマンスの大幅な (最大 100%) 向上につながります。
コードとデータセットは https://github.com/usc-isi-i2/isi-mmlm-rpm で入手できます。

要約(オリジナル)

While large language models (LLMs) are still being adopted to new domains and utilized in novel applications, we are experiencing an influx of the new generation of foundation models, namely multi-modal large language models (MLLMs). These models integrate verbal and visual information, opening new possibilities to demonstrate more complex reasoning abilities at the intersection of the two modalities. However, despite the revolutionizing prospect of MLLMs, our understanding of their reasoning abilities is limited. In this study, we assess the nonverbal abstract reasoning abilities of open-source and closed-source MLLMs using variations of Raven’s Progressive Matrices. Our experiments reveal the challenging nature of such problems for MLLMs while showcasing the immense gap between open-source and closed-source models. We also uncover critical shortcomings of visual and textual perceptions, subjecting the models to low-performance ceilings. Finally, to improve MLLMs’ performance, we experiment with different methods, such as Chain-of-Thought prompting, leading to a significant (up to 100%) boost in performance. Our code and datasets are available at https://github.com/usc-isi-i2/isi-mmlm-rpm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google